about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 2738|回复: 1

[总结型] spark2使用遇到问题总结

[复制链接]
发表于 2018-3-12 17:46:48 | 显示全部楼层 |阅读模式

此总结来自about云7群552029443



####
看到群友,在使用spark2的时候,仍然使用的是spark1.x的函数。导致错误找不到类或则初始化失败。
首先spark2已经使用了SparkSession。
SparkSession是非常方便了。
例如该如何使用hive加上enableHiveSupport.
但是在远程连接hive,也就是spark读取hive表的时候,很多人读取不到,如下程序。

1.jpg

这时候我们可以在代码中加上thrift属性

2.png


这样既可读取hive表成功。

####


飞哥
waiyou148@126.com

0

主题

4

听众

0

收听

中级会员

Rank: 3Rank: 3

积分
366
发表于 2018-4-13 17:00:55 | 显示全部楼层
学习了,多谢楼主~~
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /3 下一条

QQ|小黑屋|about云开发-学问论坛|社区 ( 京ICP备12023829号

GMT+8, 2018-12-13 12:03 , Processed in 0.502111 second(s), 34 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

快速回复 返回顶部 返回列表