分享

hive错误Error in configuring object

一曲离殇 发表于 2017-11-23 11:20:07 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 8611
SQL:
[mw_shl_code=java,true]select start_date,count(1) num from tg_cdr_ims201708 group by start_date order by num[/mw_shl_code]

hive执行group by 、order by报错:
java.lang.RuntimeException: Error in configuring object
        at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
        at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
        at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
        at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:409)
        at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:392)
        at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runSubtask(LocalContainerLauncher.java:404)
        at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.runTask(LocalContainerLauncher.java:295)
        at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler.access$200(LocalContainerLauncher.java:181)
        at org.apache.hadoop.mapred.LocalContainerLauncher$EventHandler$1.run(LocalContainerLauncher.java:224)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106)
        ... 13 more
Caused by: java.lang.NullPointerException
        at org.apache.hadoop.hive.ql.exec.mr.ExecReducer.configure(ExecReducer.java:129)
        ... 18 more

已有(3)人评论

跳转到指定楼层
nextuser 发表于 2017-11-23 11:42:00
去看Hadoop下面看看log。猜测可能启用了Uber模式,最好关闭。

回复

使用道具 举报

一曲离殇 发表于 2017-11-23 16:35:00
nextuser 发表于 2017-11-23 11:42
去看Hadoop下面看看log。猜测可能启用了Uber模式,最好关闭。

关闭uber模式就好了,非常感谢!!!
回复

使用道具 举报

一曲离殇 发表于 2017-11-24 15:56:54
nextuser 发表于 2017-11-23 11:42
去看Hadoop下面看看log。猜测可能启用了Uber模式,最好关闭。

uber模式下mapreduce是在本地跑,reduce执行计划在hdfs上,本地获取不到执行计划报错关闭uber模式可以解决此问题
启动uber的情况下还有另一种解决方案:
hive-site.xml中配置下列属性
<property>
    <name>hive.rpc.query.plan</name>
    <value>true</value>
</property>

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条