图文精华

About云-梭伦科技 › 日志

    blog 日志

    最新发表的日志| 推荐阅读的日志 | Nutch | Docker | K8s | Flink | Hyperledgar | 比特币 | 以太坊 | 机器学习 | 图像处理 | NLP | 神经网络 | 其它 | ElasticSearch | 大数据 | Spark | Sqoop | Lucene | Solr | Nosql | Oozie | Cloudera系列 | ZooKeeper | Flume | Hadoop | Kafka | Hive | Hbase | Mapreduce | Storm | 人工智能 | 区块链 | openstack | 物联网 | 容器
    分享 kylin----Build Dimension Dictionarykylin 失败
    JVM 2019-1-9 14:18
    #4 Step Name: Build Dimension Dictionarykylin第四步，创建维度字典失败,日志： org.apache.kylin.engine.mr.exception.HadoopShellException: java.lang.RuntimeException: Checking snapshot of TableRef failed. at org.apache.kylin.cube.cli.DictionaryGeneratorCLI.processSegment(DictionaryGeneratorCLI.jav ...
    1981 次阅读|0 个评论
    分享 java.lang.IllegalStateException: Aggregation group 1 require at least 2 dimensio
    JVM 2019-1-9 12:12
    java.lang.IllegalStateException: Aggregation group 1 require at least 2 dimensions in a joint 今天使用kylin遇到了这个问题： 1张事实表 3张关联表（这4张表都可以做事实表，内关联） 创建cube时，维度有147个，保存时提示我维度太多。 减少到30个，又提示我java.lang.IllegalStateException: Aggregation g ...
    2023 次阅读|0 个评论
    分享 elasticsearch设置启动内存三种方式
    Aningorg 2019-1-4 10:47
    以下三种方式中前两种在我使用过程中未生效。 1.修改es的家目录中的启动文件：vim /elasticsearch-2.3.4/bin/elasticsearch 添加： export ES_HEAP_SIZE=10g 2.修改es配置文件： vimelasticsearch-2.3.4/config/elasticsearch.yml 添加： ##分配给es的最小内存 让min == max 建议怎么做，让gc跑起来 set. ...
    2375 次阅读|0 个评论
    分享 Python连接到HiveServer2（KERBEROS和非KERBEROS）
    yaojiank 2019-1-2 21:31
    代码样例 import pyhs2 # PLAIN with pyhs2.connect(host='n5.cluster', port=10000, authMechanism="PLAIN", ...
    1512 次阅读|0 个评论
    分享 HDFS 2.x 磁盘间数据均衡如何实现
    yaojiank 2019-1-2 18:33
    一、背景 当HDFS的datanode节点挂载多个磁盘时，往往会出现两种数据不均衡的情况： （1） 不同datanode节点间数据不均衡； （2） 挂载数据盘的磁盘间数据不均衡。 特别是这种情况：当datanode原来是挂载单数据磁盘，当磁盘占用率很高之后，再挂载新的数据盘。由于hadoop 2.x 版本并不支持 HDFS 的磁盘间数据 ...
    2413 次阅读|0 个评论
    分享 elasticsearch重命名索引名及字段名
    Aningorg 2018-12-27 14:25
    这两步是基础：reindex数据复制，重索引POST _reindex { "source": { "index": "twitter" }, "dest": { "index": "new_twitter" } } 字段重命名 把flag重命名为tag POST _reindex { "source": { "index": "test" }, "dest": { "index": "test2" }, " ...
    2020 次阅读|0 个评论
    分享 Spark streamming会有很多小文件，该如何解决
    bioger_hit 2018-12-27 08:41
    Spark streamming会有很多小文件，该如何解决？ 一般会通过存储到Hbase来解决，直接使用hdfs或则hive。可以使用SparkStreaming+kudu来存储数据。
    1262 次阅读|0 个评论
    分享 Spark调试如何查看RDD
    bioger_hit 2018-12-27 08:38
    Spark 调试是非常常见的，我们经常想查看变量的值，然后RDD的值是看不到的。由于Spark是赖加载。在未执行Action的时候，并未真正的执行。
    1379 次阅读|0 个评论
    分享 Sparktask和Stage中显示skipped的原因分析
    阿飞 2018-12-26 18:51
    在spark的首页ui上经常显示任务和Stage被skipped,如以下截图所式: 在spark的首页ui上经常显示任务和Stage被skipped,如以下截图所式: 5.Sparktask和Stage跳过执行(ui显示task和stageskipped) 本文将阐述什么情况下Stage或者Task会显示为skipped, ...
    1173 次阅读|0 个评论
    分享 nginx 重定向 端口丢失解决方案net::ERR_NAME_NOT_RESOLVED和404 not found
    Aningorg 2018-12-25 17:47
    很多时候，我们在做项目过程中，可能需要 用到相同的 ip，相同的端口，但 又要区分不同的应用等，这时候 我们就需要用 nginx 做代理， 如 ：我们项目中 要用到图片，上传的时候，我们会配置一个目录，通过java代码写入到该文件夹，然后可以通过某个地址可以访问到，这时候 就得用nginx了。 #利用nginx根目 ...
    1151 次阅读|0 个评论
    1 ...121314151617181920... 206下一页
    关闭

    推荐上一条 /2 下一条

    关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

    Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

    简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000