分享

【解决】CDH5.2中关于HIVE和Spark的配置问题

本帖最后由 lixiaoliang7 于 2014-12-24 03:46 编辑

我打开CDH中HIVE的配置,我发现很多常用的配置都查不到呀…
例如,hive.groupby.skewindata, 例如hive.exec.dynamic.partition  在配置中根本就找不到…
Spark也一样出现这种情况。
请问这个是为什么? 我应该怎么去配置这些?

已有(9)人评论

跳转到指定楼层
bioger_hit 发表于 2014-12-23 11:28:11
你看到的可能是默认配置,检测不到,自己可以加上。
回复

使用道具 举报

lixiaoliang7 发表于 2014-12-23 11:35:39
bioger_hit 发表于 2014-12-23 07:28
你看到的可能是默认配置,检测不到,自己可以加上。

不好意思,请问应该如何添加?
wwwww.jpg


我没有找到在ClouderaManager中添加的地方………………
回复

使用道具 举报

bioger_hit 发表于 2014-12-23 11:48:44
lixiaoliang7 发表于 2014-12-23 11:35
不好意思,请问应该如何添加?

楼主的问题应该说的是配置文件吧,而不是添加服务。配置文件,可以通过Linux修改,例如hadoop配置文件目录在
  1. /etc/hadoop/conf/
复制代码
同样,hive、spark等应该都可以找到。

回复

使用道具 举报

lixiaoliang7 发表于 2014-12-23 11:59:52
bioger_hit 发表于 2014-12-23 07:48
楼主的问题应该说的是配置文件吧,而不是添加服务。配置文件,可以通过Linux修改,例如hadoop配置文件目 ...

您好,也就是说,我需要把所有节点的hive-site.xml都手工进行修改吗?
不能通过ClouderaManager进行修改吗?
回复

使用道具 举报

desehawk 发表于 2014-12-23 12:24:46
lixiaoliang7 发表于 2014-12-23 11:59
您好,也就是说,我需要把所有节点的hive-site.xml都手工进行修改吗?
不能通过ClouderaManager进行修改 ...



edit_overrides.jpeg


都可以修改的,详细参考

Modifying Service Configurations

回复

使用道具 举报

lixiaoliang7 发表于 2014-12-23 20:32:16
desehawk 发表于 2014-12-23 08:24
都可以修改的,详细参考

Modifying Service Configurations

版主大人,我这儿还是没有搞定,没搞懂应该如何配置………………
回复

使用道具 举报

bioger_hit 发表于 2014-12-24 00:39:28
lixiaoliang7 发表于 2014-12-23 20:32
版主大人,我这儿还是没有搞定,没搞懂应该如何配置………………




这个应该可以直接编辑


safety_valve.jpeg

回复

使用道具 举报

lixiaoliang7 发表于 2014-12-24 07:45:59
问题解决了。  
我之前总是不生效的原因,在于我修改的是客户端的xml,其实我应该修改的是服务器端的。
例如:应该是修改这个
11.jpg
而不是这个
22.jpg


回复

使用道具 举报

awenkidz 发表于 2015-4-15 21:24:31
解决问题就好
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条