2017年about云02月第03周经典帖子总结

Spark SQL 统计分析案例介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20996
1. 为什么会出现 Spark SQL 这个模块？
2. 什么是Spark SQL/DataFrame？
3. 如何使用 Spark SQL 分析包含 5 亿条人口信息的结构化数据？
4. 如何连接多个 DataFrame 做更复杂的统计分析？





让你真正理解什么是SparkContext, SQLContext 和HiveContext
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21018
1.你认为SparkContext的作用是什么？
2.SQLContext 和HiveContext的区别是什么？
3.SQLContext、HiveContext与SparkContext的区别是什么？


Spark Streaming中的常用函数讲解（共23个）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21011

1. Transformations 类的函数如何使用？

2. Window Operations 类的函数如何使用？

3. Join Operations 类的函数如何使用？

4. Output Operations 类的函数如何使用？

spark开发环境中，如何将源码打包提交到集群
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20979
1、如何使用IDEA打包jar文件？
2、如何使用spark-submit提交任务？
3、spark-submit提交参数有哪些？



spark调度分析: DAGScheduler, TaskScheduler, SchedulerBackend
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20973
1、Runtime是如何执行的？
2、DAGScheduler主要职能有哪些？
3、TaskScheduler主要职能有哪些？
4、SchedulerBackend主要职能有哪些？





资源：
Spark SQL数据加载和保存实战
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20970



Spark summit East 2017视频之一：Women In Big Data Lunch及spark sql
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20994


Spark summit East 2017视频之二
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21013

问答
工作中总结的关于hive的优化方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20969