分享

Cloudera Hue 使用经验分享,遇到的问题及解决方案

pig2 发表于 2014-2-9 20:18:43 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 125400
下面问题是否会遇到?
在使用Cloudera Hue时遇到一问题:
1. 使用Sqoop导入功能时,由于配置错误,使得“保存运行”后Job并不能正常提交,且界面上没有相关提示。
解决办法:
使用Hue的Sqoop shell -》 start job --jid * 提交会出现一些错误提示
然后再去/var/log/sqoop/里面查看log


2. 在使用Job Designer设计Sqoop任务,提交时,执行过过程中提示缺少mysql 驱动,虽然驱动已经被加入到sqoop/lib下。
解决办法:
后来才发现,原来安装的时候会将oozie workflow共享依赖的包入到hdfs中,所以我将驱动上传到hdfs://user/oozie/share/lib/sqoop/下,再执行Job就可以了

3. hue oozie 执行sqoop create-hive-table,不能成功在hive metastore中创建table,虽然在sqoop中加入--verbose参数,在执行过程中显示了表示要创建table的DDL语句,但是在hive中show tables;并没有真正创建成功。
解决办法:
可能是在hue中sqoop没有办法调用起hive client,因为日志的最后并没有打印hive所生成的log.

4. hue oozie中有几个关于时间的设置,都跟时区有关:
Cloudera Manager中有关hue的时区的设置,默认为American/LosAngeles,这个时区设置使得hue oozie dashboard中任务的时间显示不能与中国标准时间一致
解决办法:
将其改为Asia/Chongqing,重启hue服务即可。
Hue Oozie Coordinator的频率设置,开始和结束时间后的时区设置,是用来调整夏令时区的。由于某些时区实行夏令时,使得开始和结束时间要进行一定的调整。
上面的开始和结束时间使用的是UTC时区,这个设置可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone,默认为UTC。然后,Hue oozie对这个设置的更改不起作用,所以在使用hue oozie时,设置时间固定以UTC为基准,中国时间比其早8小时,一般要减去8小时。

5. 在使用Cloudera Manager部署Hadoop时,由于各节点时钟不统一,会导致服务出现异常
解决办法:
使用NTP server/client可以解决这个问题。



来自群组: Hadoop技术组

已有(1)人评论

跳转到指定楼层
Sempre 发表于 2015-11-12 16:54:19
本帖最后由 Sempre 于 2015-11-12 17:03 编辑

请问楼主hue oozie中的时区在哪设置,可以说具体一点吗?--------------------
我知道了,帮楼主补充一下:
4. 关于时区的设置
解决办法:
打开/etc/hue/conf/hue.ini文件,将time_zone改为Asia/Chongqing,重启hue服务即可。

[desktop]
  # Time zone name
  # time_zone=America/Los_Angeles
  time_zone=Asia/Chongqing

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条