Spark2.3/2.4可以直接使用hive2/3的元数据吗，是否需要重新编译

RT
我想搭建一个HADOOP3.0.X+HIVE2.X/3.X+SPARK2.4的环境
请问是否需要对SPARK2.4的源码进行编译，以便于支持HIVE2/3

s060403072 · 发表于 2018-12-5 12:32:10

编译恐怕也不支持，楼主可以查看下pom文件

pom.zip (13.11 KB, 下载次数: 2)

Tesla · 发表于 2018-12-5 14:42:26

s060403072 发表于 2018-12-5 12:32
编译恐怕也不支持，楼主可以查看下pom文件

那我如果改一下pom文件然后重新编译呢？

s060403072 · 发表于 2018-12-5 15:56:06

Tesla 发表于 2018-12-5 14:42
那我如果改一下pom文件然后重新编译呢？

恐怕不行，如果支持的话，官网源码会在profile添加这个版本。但是似乎并没有找到。当然楼主可以试试。

Tesla · 发表于 2019-1-7 09:50:34

s060403072 发表于 2018-12-5 15:56
恐怕不行，如果支持的话，官网源码会在profile添加这个版本。但是似乎并没有找到。当然楼主可以试试。

已测试，无论是否重新编译源码都可以使用hive3.1.1
且自己编译的代码无需任何特殊参数

图文精华