分享

如何配置hive,使hive能使用spark引擎

大家好:
         我在使用hive时,把hive的执行引擎配置为spark,如图,


hive 配置.png

然后在hive 客户端执行一个sql时,显示以下问题:
hive> select count(*) from test1;
Query ID = root_20160523125115_69a5ed34-b4c7-423c-a109-e2a982b71d32
Total jobs = 1
Launching Job 1 out of 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapreduce.job.reduces=<number>
Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask


不知道这种情况大家遇到没有?如何解决呢?


已有(4)人评论

跳转到指定楼层
einhep 发表于 2016-5-23 15:38:04
包是否添加进来
楼主参考下这篇文章
Hive on Spark入门设置【编程】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=18547


回复

使用道具 举报

北京的北 发表于 2016-5-23 15:51:39
我直接在环境变量中设置了SPARK_HOME的环境变量,执行hive命令时的输出
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/hive/lib/hive-jdbc-2.0.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/spark/lib/spark-assembly-1.6.1-hadoop2.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
说明我已经使用上spark的包了,但是您给的参考文章中指出Hive on Spark模式用到的Spark assembly包必须是没有用-phive参数编译的,但是我所使用的hive,spark是直接在官网上下载的pre-build程序,这个就没法解决了
回复

使用道具 举报

langke93 发表于 2016-5-23 15:56:41
确保版本兼容 复制spark-assembly.jar到 hive/lib.

更多错误,可以通过hive.log看到。

楼主的问题,跟这个类似
http://comments.gmane.org/gmane.comp.java.hadoop.hive.user/14421
回复

使用道具 举报

kinglee_zs 发表于 2018-4-28 21:18:25
langke93 发表于 2016-5-23 15:56
确保版本兼容 复制spark-assembly.jar到 hive/lib.

更多错误,可以通过hive.log看到。

我的问题,试试这个jar先,等下不知能发帖未
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条