日志
- 分享
Sparktask和Stage中显示skipped的原因分析
-
2018-12-26 18:51
-
在spark的首页ui上经常显示任务和Stage被skipped,如以下截图所式: 在spark的首页ui上经常显示任务和Stage被skipped,如以下截图所式: 5.Sparktask和Stage跳过执行(ui显示task和stageskipped) 本文将阐述什么情况下Stage或者Task会显示为skipped, ...
-
1169 次阅读|0 个评论
- 分享
spark、hadoop等路径尽量不要使用中文
-
2018-12-15 15:52
-
我们学习的过程中，需要读取数据，可能要使用到各种路径去读取数据，不要使用中文，否则可能会出现错误 can not create a path from an empty string 解决办法： 路径中改为英文即可解决
-
694 次阅读|0 个评论
- 分享
大数据面试题
-
2018-12-11 21:28
-
1.hbase大批量写入数据该如何优化？ （1）预分区，预分区防止热点 （2）hbase的堆内存增加到3GB，条件好可以增加到4-8G （3）批量的读取和写入 2.spark用Yarn调度任务时候，某个节点宕机，该如何处理? 一个节点宕机，如果是worker宕机没有关系，spark会重新分配 3.一个小组公用一个集群开发，如果有大量的读或 ...
-
724 次阅读|0 个评论
- 分享
flink sql Java代码例子
-
2018-11-25 12:08
-
package flink.demo; import com.alibaba.fastjson.JSONObject; import com.enniu.cloud.services.riskbrain.flink.job.EnniuKafkaSource; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; import java.util.Set; im ...
-
1151 次阅读|0 个评论
- 分享
Cloudera hue遇到异常Unexpected error. Unable to verify database connection.解决 ...
-
2018-11-8 15:22
-
hue数据库无法访问 1.操作系统的问题 最小化安装的centos,缺少必要python包 解决方法: 安装python_lxml yum install -y python_lxml 2.可能原因缺libxslt-devel包 造成这个问题的原因是未安装libxslt-devel包，于是在master上安装这个devel包： # yum -y install libxslt-devel 3.mysq ...
-
1196 次阅读|0 个评论
- 分享
hive错误总结
-
2018-10-15 14:16
-
error1. 执行./hive命令，出现 Missing Hive Execution Jar Missing Hive MetaStore Jar Missing Hive CLI Jar 执行find $HIVE_HOME/* -name hive*.jar 添加/hive-exec-*.jar hive-metastore-*.jar /hive-cli-*.jar 添加三个tar包到$HIVE_HOME/lib下，解决问题 error2. Excep ...
-
1269 次阅读|0 个评论
- 分享
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions
-
2018-9-8 21:30
-
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw- 解决办法： hadoop fs -chmod -R 777 /tmp
-
1130 次阅读|0 个评论
- 分享
CDH中文网
-
2016-5-15 12:01
-
http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/introduction.html
-
1095 次阅读|0 个评论
- 分享
hive常用命令
-
2014-12-26 23:47
-
1.hive数据导出 将select的结果放到本地文件系统中 INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3' SELECT a.* FROM events a; 将select的结果放到hdfs文件系统中 INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* FROM table_name a WHERE a.ds='DATE'; 2.hive ...
-
1384 次阅读|0 个评论
- 分享
impala HA高可用
-
2014-12-26 23:47
-
目的： 为impala jdbc提供统一的接口，作用参照http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_proxy.html 步骤： 安装haproxy 选择一台非impalad的机器安装haproxy yum install haproxy 编辑/etc/haproxy/haproxy.cfg，参考&nb ...
-
3537 次阅读|0 个评论
- 新手帮助
- 新手帮助：注册遇到问题，领取资源，加入铁粉群，不会使用搜索，如何获取积分等
查看 »
/2 
