about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 949|回复: 4

[疑问解答] Spark2.3/2.4可以直接使用hive2/3的元数据吗,是否需要重新编译

[复制链接]

5

主题

3

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
281
发表于 2018-12-5 10:20:49 | 显示全部楼层 |阅读模式
RT
我想搭建一个HADOOP3.0.X+HIVE2.X/3.X+SPARK2.4的环境
请问是否需要对SPARK2.4的源码进行编译,以便于支持HIVE2/3

48

主题

10

听众

6

收听

高级会员

Rank: 4

积分
2376
发表于 2018-12-5 12:32:10 | 显示全部楼层
编译恐怕也不支持,楼主可以查看下pom文件
1.png

pom.zip (13.11 KB, 下载次数: 1)

5

主题

3

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
281
 楼主| 发表于 2018-12-5 14:42:26 | 显示全部楼层
s060403072 发表于 2018-12-5 12:32
编译恐怕也不支持,楼主可以查看下pom文件

那我如果改一下pom文件然后重新编译呢?

48

主题

10

听众

6

收听

高级会员

Rank: 4

积分
2376
发表于 2018-12-5 15:56:06 | 显示全部楼层
Tesla 发表于 2018-12-5 14:42
那我如果改一下pom文件然后重新编译呢?

恐怕不行,如果支持的话,官网源码会在profile添加这个版本。但是似乎并没有找到。当然楼主可以试试。

5

主题

3

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
281
 楼主| 发表于 2019-1-7 09:50:34 | 显示全部楼层
s060403072 发表于 2018-12-5 15:56
恐怕不行,如果支持的话,官网源码会在profile添加这个版本。但是似乎并没有找到。当然楼主可以试试。

已测试,无论是否重新编译源码 都可以使用hive3.1.1
且自己编译的代码无需任何特殊参数
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2019-2-17 22:10 , Processed in 0.435960 second(s), 35 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表