hive使用spark引擎，设置yarn-cluster，同时只能有一个连接？

我用的是CDH5.14安装hive和spark，兼容性应该是没问题。
然后我在beeline hive里面，设定了使用spark引擎、spark模式为yarn-cluster，能正常执行SQL操作。
但奇怪就是yanr-cluster，只能有一个连接么，我在机器A上用了yarn-cluster模式，其他机器再用yarn-cluster模式就执行不了SQL了，但其他机器用local模式就可以。
（其他用yarn-cluster模式，会一直等待，最后好似会报failed to create spark client还是spark context）

是我使用方法不对，还是有什么配置么？

你可以说的再详细点吗

fly2015 发表于 2018-5-4 11:04
你可以说的再详细点吗

机器A设置：
set hive.execution.engine=spark;
set spark.master=yarn-cluster;


机器B设置：
set hive.execution.engine=spark;
set spark.master=yarn-cluster;


机器A先执行普通的SQL查询语句，正常，连接不断开。
机器B再执行SQL语句，就查询不到了，等待90秒后超时报 failed to create spark client

kinglee_zs 发表于 2018-5-4 11:20
机器A设置：
set hive.execution.engine=spark;
set spark.master=yarn-cluster;

现在B上执行，然后再A上执行，是否同样的情况

hello2018 发表于 2018-5-4 11:42
现在B上执行，然后再A上执行，是否同样的情况

一样的，先执行的正常，后执行的就不行了

对了，hive版本是1.1，Spark版本是1.6

kinglee_zs 发表于 2018-5-4 11:45
对了，hive版本是1.1，Spark版本是1.6

这个应该是不兼容的。
spark1.6兼容的是hive1.2.1



对应的pom.xml文件
pom.rar (10.6 KB, 下载次数: 1)

2018-5-4 16:06 上传

点击文件名下载附件

hello2018 发表于 2018-5-4 16:07
这个应该是不兼容的。
spark1.6兼容的是hive1.2.1

补充：

如果想下载任何一个spark版本查看兼容信息
比如spark1.6的源码
需要经过下面三个步骤：

第一步：找到对应版本spark1.6



第二步：找到source code


第三步：下载



就可以获取源码了的pom.xml文件了



更多参考
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23252

楼主可以尝试换个版本

hello2018 发表于 2018-5-4 16:10
补充：

如果想下载任何一个spark版本查看兼容信息

啊。。。版本问题？cdh安装的，应该都是兼容的吧？我是用cdh自带安装的啵。。

kinglee_zs 发表于 2018-5-4 18:17
啊。。。版本问题？cdh安装的，应该都是兼容的吧？我是用cdh自带安装的啵。。

都没有错的。版本的兼容查找的是对的。
Spark SQL 被设计成与Hive Metastore(元数据), SerDes 和UDFs兼容. 目前Spark SQL里的 Hive SerDes 和 UDFs 是基于Hive 1.2.1, 同时 Spark-1.6.1 SQL 可以连接不同版本的Hive Metastore (从 0.12.0 到 1.2.1. 可以查看Interacting with Different Versions of Hive Metastore ).


作者：日月明心
链接：https://www.jianshu.com/p/14e4be606b09