spark2 sql读取json文件的格式要求

查看数: 18171 | 评论数: 3 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2017-12-7 20:14

本帖最后由 pig2 于 2017-12-15 18:11 编辑问题导读 1.spark2 sql如何读取json文件？ 2.spark2读取json格式文件有什么要求？ 3.spark2是如何处理对于带有表名信息的json文件的? spark有多个数据 ...

tntzbzc 发表于 2017-12-8 11:12:16

小伙425 发表于 2017-12-8 09:27
你这么修改json格式的确是吧age和name作为了列，但是你的表明没有啦。。和最初的初衷也不一样啊。。。

建议对DataFrame和json理解加深。

pig2 发表于 2017-12-8 11:08:18

小伙425 发表于 2017-12-8 09:27
你这么修改json格式的确是吧age和name作为了列，但是你的表明没有啦。。和最初的初衷也不一样啊。。。

DataFrame还未注册，不存在表名，看下一篇文章spark2 sql读取json文件的格式要求
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23478

json的表名只是一个称呼，并非实际表名。

小伙425 发表于 2017-12-8 09:27:32

你这么修改json格式的确是吧age和name作为了列，但是你的表明没有啦。。和最初的初衷也不一样啊。。。

图文精华