图文精华

About云-梭伦科技 › 日志

    blog 日志

    最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器
    分享 实际生产面试案例分享
    阿飞 2019-5-29 16:13
    实际生产面试案例分享
    这里分享几个实际生产中，大家遇到的问题，以及解决办法。对于正在面试的成员，你可以思考，假如你遇到这样的问题，你该如何处理。如果你已经工作了，由于我们每个人所接触的场景都是有限的。对于下面案例也可以扩充下大家的知识面。 分享案例1： 公司有224台机器，内存单个384G，48core。在集群的使 ...
    657 次阅读|0 个评论
    分享 elasticsearch自动按天创建索引脚本
    bioger_hit 2019-5-17 13:20
    elasticsearch保存在一个索引中数据量太大无法查询，现在需要将索引按照天来建，查询的时候关联查询即可 有时候es集群创建了很多索引，删不掉，如果是测试环境或者初始化es集群(清空所有数据)，可以直接关掉elastic进程，然后删除nodes下面的所有数据，再次启动集群即可，记录一下避免忘记 导出mapping信息放到/ro ...
    1352 次阅读|0 个评论
    分享 centos7 ssh权限过高反而不能成功
    阿飞 2019-5-10 08:39
    我们在安装ssh的时候，权限都授权为777，还是不能成功。按照下面的方式权限 sudo chmod 700 ~/.ssh sudo chmod 644 ~/.ssh/authorized_keys 每台都改下，然后重启 ssh成功，因此我们要注意权限问题
    870 次阅读|0 个评论
    分享 作业运行的时候显示0记录 0write的原因
    yaojiank 2019-4-3 08:40
    作业运行的时候显示0记录 0write的原因
    这个是正常的，不是0条，每个线程在进行shuffle 的时候这个就是0，等完了之后就会显示有多少记录，有个等待过程。
    787 次阅读|0 个评论
    分享 linux下压缩方式比较
    Aningorg 2019-3-28 18:17
    1. tar 只是打包动作，相当于归档处理，不做压缩；解压也一样，只是把归档文件释放出来。 2. tar.gz tgz (tar.gz和tgz只是两种不同的书写方式，后者是一种简化书写，等同处理) 这种格式是Linux下使用非常普遍的一种压缩方式， 兼顾了压缩时间（耗费CPU）和压缩空间（压缩比率） 其实这是对tar包进行gzi ...
    725 次阅读|0 个评论
    分享 恢复系统主题(win7X64)
    jixianqiuxue 2019-3-11 11:01
    恢复系统主题(win7X64).zip 解决VirtualBox在WIN7 X64使用出现的以下问题： Unable to load R3 module D:\Program Files\Oracle\VirtualBox/VBoxDD.dll (VBoxDD):GetLastError=1790 (VERR_UNRESOLVED_ERROR) 返回 代码: E_FAIL (0x80004005) 组件: Console 界面: IConsole {8ab7c520-2442-4b66-8d74-4ff1e195d2b6} 链 ...
    991 次阅读|0 个评论
    分享 Impala中最大连接数的设置
    bioger_hit 2019-3-6 12:35
    Impala中最大连接数的设置 impala中最大连接数 最近工作中有用到impala，有用到impala进行对数据库的操作，由于查询是页面在查询，所以有可能会有n个人在同时查询，那也就是数有可能同事有很多个客户端在请求impala连接，当请求数量达到64个的时候就卡住了，通过测试发现，impala默认的请求数（也就是连接数）限制在64个 ...
    2207 次阅读|0 个评论
    分享 处理hive写入速度大于elasticsearch接收速度（含Elasticsearch写入性能优化及hive优化 ...
    Aningorg 2019-2-22 15:51
    使用hive往elasticsearch的映射外部表中插入数据， 报错： Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries (maybe ES was overloaded?). Bailing out... 分析： ES涉及到该部分源码如下： public void flush() {   ...
    2389 次阅读|0 个评论
    分享 HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOu
    Aningorg 2019-2-20 10:00
    问题： 在CDH集群中用sql语句往hive中hbase的映射表中插入数据时报错如下： Causedby:java.lang.ClassCastException:org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormatcannotbecasttoorg.apache.hadoop.hive.ql.io.HiveOutputFormat atorg ...
    1251 次阅读|0 个评论
    分享 hive报错native snappy library not available: this version of libhadoop was built .
    Aningorg 2019-1-18 15:21
    1.原因是snappy本地库不可用，在编译libhadoop的时候需要制定支持snappy，这一点不同于hadoop1.0，haodop1.0只需要将snappy本地库往指定目录copy就行了，不需要重新编译libhadoop本地库文件。 2.参考网上一些解决方案，重新编译native后会生成 libhadoop.so和 libsnappy.so.1, 编译主要是使用这两个文件。 ...
    1229 次阅读|0 个评论
    1 ...3456789101112下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000