hive on spark on yarn driver收不回来问题

SQL 执行完毕，能够返回结果，但是在 applications 中状态一直是running，查看 applicationMaster 在 description 出现 foreachAsync at RemoteHiveSparkClient.java:327
相信的信息如下
foreachAsync at RemoteHiveSparkClient.java:327

org.apache.spark.api.java.AbstractJavaRDDLike.foreachAsync(JavaRDDLike.scala:46)
org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient$JobStatusJob.call(RemoteHiveSparkClient.java:327)
org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:353)
org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:322)
java.util.concurrent.FutureTask.run(FutureTask.java:262)

mapPartitionsToPair at MapTran.java:40
org.apache.spark.api.java.AbstractJavaRDDLike.mapPartitionsToPair(JavaRDDLike.scala:46)
org.apache.hadoop.hive.ql.exec.spark.MapTran.doTransform(MapTran.java:40)
org.apache.hadoop.hive.ql.exec.spark.CacheTran.transform(CacheTran.java:45)
org.apache.hadoop.hive.ql.exec.spark.SparkPlan.generateGraph(SparkPlan.java:73)
org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient$JobStatusJob.call(RemoteHiveSparkClient.java:325)
org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:353)
org.apache.hive.spark.client.RemoteDriver$JobWrapper.call(RemoteDriver.java:322)
java.util.concurrent.FutureTask.run(FutureTask.java:262)
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
java.lang.Thread.run(Thread.java:745)

哪儿大神遇到过，怎么解决这个问题？

easthome001 · 发表于 2016-4-1 14:17:07

是否把spark library 放到hive里了

风的季节 · 发表于 2016-4-1 14:32:05

easthome001 发表于 2016-4-1 14:17
是否把spark library 放到hive里了

你指的是 spark-assembly-1.6.0-hadoop2.6.0.jar这个包放到hive 的lib 下吗？

easthome001 · 发表于 2016-4-1 14:34:34

风的季节发表于 2016-4-1 14:32
你指的是 spark-assembly-1.6.0-hadoop2.6.0.jar这个包放到hive 的lib 下吗？

其它可能用到的包，也放到里面

风的季节 · 发表于 2016-4-1 14:44:58

easthome001 发表于 2016-4-1 14:34
其它可能用到的包，也放到里面

嗯，我试试

风的季节 · 发表于 2016-4-1 14:58:03

风的季节发表于 2016-4-1 14:44
嗯，我试试

试了，不行，还是那样。。。

Alkaloid0515 · 发表于 2016-4-1 15:23:49

风的季节发表于 2016-4-1 14:58
试了，不行，还是那样。。。

找找其它日志

wscl1213 · 发表于 2016-4-1 17:13:06

这个参数是如何配置的
<property>
<name>yarn.scheduler.capacity.root.default.state</name>
<value>RUNNING</value>
<description>
Default队列的状态，可以是RUNNING或者STOPPED.
</description>
</property>

wscl1213 · 发表于 2016-4-1 17:19:52

看看是不是yarn的配置的问题，在yarn-site.xml中。
下面文章仅供参考
Hadoop YARN配置参数剖析(4)—Fair Scheduler、Capacity Scheduler相关参数
http://www.aboutyun.com/forum.php?mod=viewthread&tid=5864