图文精华

About云-梭伦科技 › 日志

    blog 日志

    最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器
    分享 Linux 内核编译（编译成2.6.29版本）
    liiiiixq 2019-4-16 12:56
    打开虚拟机，使用root用户登录 1.在home目录下创建一个文件夹 将下载好的内核源码linux-2.6.29.tar.bz2放在该文件夹下 内核源码地址（http://download.chinaunix.net/download.php?ResourceID=6156id=33818） 2.在该目录下解压该源代码压缩包 tar –xjvf linux-2.6.29.tar ...
    765 次阅读|0 个评论
    分享 Sqoop导出hive表数据测试
    孤独的战神 2019-4-3 18:04
    最近工作涉及了从hive表---》drds的数据迁移，近期做了一些简单的测试： 建表语句如下： hive单表: CREATE TABLE item_zc_test1( num_id string, dp_id string, approve_status string, title string, price string, nick string, cid string, pic_url string, props string, list_time string, modified str ...
    842 次阅读|0 个评论
    分享 作业运行的时候显示0记录 0write的原因
    yaojiank 2019-4-3 08:40
    作业运行的时候显示0记录 0write的原因
    这个是正常的，不是0条，每个线程在进行shuffle 的时候这个就是0，等完了之后就会显示有多少记录，有个等待过程。
    804 次阅读|0 个评论
    分享 如何看hbase的负载呀
    阿飞 2019-3-29 08:40
    HBase 可以根据当前集群的负载以region为单位进行rebalance。在HMaster中，后台会起一个线程定期检查是否需要进行rebalance，线 程叫做BalancerChore。线程每隔 hbase.balancer.period会定期执行 master.balance()函数，配置项默认300000毫秒，5分钟。每次balance最多执行 hbase.balancer.max.balancing，如果没有配置， ...
    965 次阅读|0 个评论
    分享 linux下压缩方式比较
    Aningorg 2019-3-28 18:17
    1. tar 只是打包动作，相当于归档处理，不做压缩；解压也一样，只是把归档文件释放出来。 2. tar.gz tgz (tar.gz和tgz只是两种不同的书写方式，后者是一种简化书写，等同处理) 这种格式是Linux下使用非常普遍的一种压缩方式， 兼顾了压缩时间（耗费CPU）和压缩空间（压缩比率） 其实这是对tar包进行gzi ...
    735 次阅读|0 个评论
    分享 oozie配置mysql：表结构详解
    nettman 2019-3-11 17:59
    oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。 链接: https://pan.baidu.com/s/10x6Ut4-vsF3saoSI5XoGTQ 提取码: dudm
    1503 次阅读|0 个评论
    分享 恢复系统主题(win7X64)
    jixianqiuxue 2019-3-11 11:01
    恢复系统主题(win7X64).zip 解决VirtualBox在WIN7 X64使用出现的以下问题： Unable to load R3 module D:\Program Files\Oracle\VirtualBox/VBoxDD.dll (VBoxDD):GetLastError=1790 (VERR_UNRESOLVED_ERROR) 返回 代码: E_FAIL (0x80004005) 组件: Console 界面: IConsole {8ab7c520-2442-4b66-8d74-4ff1e195d2b6} 链 ...
    1001 次阅读|0 个评论
    分享 Impala中最大连接数的设置
    bioger_hit 2019-3-6 12:35
    Impala中最大连接数的设置 impala中最大连接数 最近工作中有用到impala，有用到impala进行对数据库的操作，由于查询是页面在查询，所以有可能会有n个人在同时查询，那也就是数有可能同事有很多个客户端在请求impala连接，当请求数量达到64个的时候就卡住了，通过测试发现，impala默认的请求数（也就是连接数）限制在64个 ...
    2224 次阅读|0 个评论
    分享 Hadoop vs Spark vs Flink
    pig2 2019-2-22 17:37
    那么现在让我们开始Hadoop与Spark vs Flink之间功能明智的比较之旅： 1. Hadoop vs Spark vs Flink - 数据处理 Hadoop：Apache Hadoop专为批处理而构建。它需要输入中的大数据集，同时处理它并产生结果。批处理在处理大量数据时非常有效。由于数据的大小和系统的计算能力，输出会产生延迟。 Spark：Apache S ...
    1329 次阅读|0 个评论 热度 1
    分享 处理hive写入速度大于elasticsearch接收速度（含Elasticsearch写入性能优化及hive优化 ...
    Aningorg 2019-2-22 15:51
    使用hive往elasticsearch的映射外部表中插入数据， 报错： Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries (maybe ES was overloaded?). Bailing out... 分析： ES涉及到该部分源码如下： public void flush() {   ...
    2409 次阅读|0 个评论
    1 ...91011121314151617... 206下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000