About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › Spark › Spark中文手册6：Spark-sql由入门到精通

Spark中文手册6：Spark-sql由入门到精通

查看数: 156238 | 评论数: 25 | 收藏 13

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

xioaxu790

发布时间: 2015-2-6 22:34

正文摘要:

本帖最后由 pig2 于 2015-2-11 18:55 编辑问题导读 1、什么是SparkContext？ 2、如何配置Parquet？ 3、如何高效的从Apache Hive中读出和写入数据？本文接前篇： Spark中文手册-编程指南 Sp ...

晃晃悠悠 发表于 2017-4-26 10:21:01

感谢分享

为梦狂野 发表于 2017-3-30 09:23:18

哥哥呀，你少了个.toDF,否则注册不到表。这是1.6版本，在2.0版本后不建议注册成表，应该搞成视图。// Create an RDD of Person objects and register it as a table.
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")

为梦狂野 发表于 2017-3-30 09:20:17

Dataset and DataFrame API registerTempTable has been deprecated and replaced by createOrReplaceTempView,第一个反射模式的SparkSQL不建议注册成表，官网说的

为梦狂野 发表于 2017-3-29 22:45:07

有问题，反射推断模式部分是引入import sqlContext.implicits._

为梦狂野 发表于 2017-3-29 18:25:22

整理的比较全面，谢谢thanks a lot ,thanks for your share...

wuzhenbao 发表于 2017-3-24 08:30:10

学习了，多谢分享！

credit 发表于 2016-7-29 17:39:27

楼主，怎么使用spark sql 读取hbase，

cherishWang 发表于 2016-7-3 13:45:48

xbings 发表于 2015-3-21 01:22
大佬，请问spark有可以直接访问关系型数据库的方法吗？

使用Spark Python接口读写JDBC，我使用的是Spark 1.6测试：读取：df.load(url, source)
写入：df.write.jdbc(url, table, mode='append')
具体使用方法可以参看帮助文档，地址：
http://spark.apache.org/docs/1.6 ... #module-pyspark.sql

林中小草 发表于 2016-3-23 10:20:24

好好学习，天天向上，哇哈哈

图文精华

Spark中文手册6：Spark-sql由入门到精通

正文摘要:

回复

推荐 /2