about云开发-活到老 学到老

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 1415|回复: 1

spark2使用遇到问题总结

[复制链接]
发表于 2018-3-12 17:46:48 | 显示全部楼层 |阅读模式

此总结来自about云7群552029443



####
看到群友,在使用spark2的时候,仍然使用的是spark1.x的函数。导致错误找不到类或则初始化失败。
首先spark2已经使用了SparkSession。
SparkSession是非常方便了。
例如该如何使用hive加上enableHiveSupport.
但是在远程连接hive,也就是spark读取hive表的时候,很多人读取不到,如下程序。

1.jpg

这时候我们可以在代码中加上thrift属性

2.png


这样既可读取hive表成功。

####


飞哥
waiyou148@126.com

0

主题

1

听众

0

收听

新手上路

Rank: 1

积分
35
发表于 2018-4-13 17:00:55 | 显示全部楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /4 下一条

QQ|小黑屋|about云开发-学问论坛|社区-大数据云技术学习分享平台 ( 京ICP备12023829号

GMT+8, 2018-6-23 22:08 , Processed in 0.387960 second(s), 33 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

© 2018 Comsenz Inc.Designed by u179

快速回复 返回顶部 返回列表