搜索
搜 索
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
›
日志
发布
日志
上传
相册
添加
分享
记录
日志
好友的日志
我的日志
随便看看
发表新日志
分享
Sparktask和Stage中显示skipped的原因分析
阿飞
2018-12-26 18:51
在spark的首页ui上经常显示任务和Stage被skipped,如以下截图所式: 在spark的首页ui上经常显示任务和Stage被skipped,如以下截图所式: 5.Sparktask和Stage跳过执行(ui显示task和stageskipped) 本文将阐述什么情况下Stage或者Task会显示为skipped, ...
1173 次阅读
|
0
个评论
分享
spark、hadoop等路径尽量不要使用中文
阿飞
2018-12-15 15:52
我们学习的过程中,需要读取数据,可能要使用到各种路径去读取数据,不要使用中文,否则可能会出现错误 can not create a path from an empty string 解决办法: 路径中改为英文即可解决
694 次阅读
|
0
个评论
分享
大数据面试题
阿飞
2018-12-11 21:28
1.hbase大批量写入数据该如何优化? (1)预分区,预分区防止热点 (2)hbase的堆内存增加到3GB,条件好可以增加到4-8G (3)批量的读取和写入 2.spark用Yarn调度任务时候,某个节点宕机,该如何处理? 一个节点宕机,如果是worker宕机没有关系,spark会重新分配 3.一个小组公用一个集群开发,如果有大量的读或 ...
727 次阅读
|
0
个评论
分享
flink sql Java代码例子
阿飞
2018-11-25 12:08
package flink.demo; import com.alibaba.fastjson.JSONObject; import com.enniu.cloud.services.riskbrain.flink.job.EnniuKafkaSource; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; import java.util.Set; im ...
1151 次阅读
|
0
个评论
分享
Cloudera hue遇到异常Unexpected error. Unable to verify database connection.解决 ...
阿飞
2018-11-8 15:22
hue数据库无法访问 1.操作系统的问题 最小化安装的centos,缺少必要python包 解决方法: 安装python_lxml yum install -y python_lxml 2.可能原因缺libxslt-devel包 造成这个问题的原因是未安装libxslt-devel包,于是在master上安装这个devel包: # yum -y install libxslt-devel 3.mysq ...
1199 次阅读
|
0
个评论
分享
hive错误总结
阿飞
2018-10-15 14:16
error1. 执行./hive命令,出现 Missing Hive Execution Jar Missing Hive MetaStore Jar Missing Hive CLI Jar 执行find $HIVE_HOME/* -name hive*.jar 添加/hive-exec-*.jar hive-metastore-*.jar /hive-cli-*.jar 添加三个tar包到$HIVE_HOME/lib下,解决问题 error2. Excep ...
1274 次阅读
|
0
个评论
分享
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions
阿飞
2018-9-8 21:30
The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rw- 解决办法: hadoop fs -chmod -R 777 /tmp
1130 次阅读
|
0
个评论
分享
CDH中文网
阿飞
2016-5-15 12:01
http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/introduction.html
1096 次阅读
|
0
个评论
分享
hive常用命令
阿飞
2014-12-26 23:47
1.hive数据导出 将select的结果放到本地文件系统中 INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3' SELECT a.* FROM events a; 将select的结果放到hdfs文件系统中 INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* FROM table_name a WHERE a.ds='DATE'; 2.hive ...
1385 次阅读
|
0
个评论
分享
impala HA高可用
阿飞
2014-12-26 23:47
目的: 为impala jdbc提供统一的接口,作用参照http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_proxy.html 步骤: 安装haproxy 选择一台非impalad的机器安装haproxy yum install haproxy 编辑/etc/haproxy/haproxy.cfg,参考&nb ...
3539 次阅读
|
0
个评论
1
2
3
4
5
/ 5 页
下一页
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈