Spark源码分析(二)：SparkContext创建

阅读导读：
1.SparkContext类创建过程中涉及到哪些对象？
2.SparkContext的创建过程需要几个步骤？
3.涉及到几种监听器？
4.StorageStatusListener监听器的作用？
5.spark.eventLog.enabled的值有哪些？





SparkContext是应用启动时创建的Spark上下文对象，是一个重要的入口类。
本文主要分析在SparkContext类创建过程中进行的一些重要操作：
1、创建SparkConf对象
     创建SparkConf对象来管理spark应用的属性设置。SparkConf类比较简单，是通过一个HashMap容器来管理key、value类型的属性。

2、创建LiveListenerBus监听器
　  这是典型的观察者模式，向LiveListenerBus类注册不同类型的SparkListenerEvent事件，SparkListenerBus会遍历它的所有监听者SparkListener，然后找出事件对应的接口进行响应。


3、创建SparkEnv运行环境
　  在SparkEnv中创建了MapOutputTrackerMasterActor、BlockManager、CacheManager、HttpFileServer一系列对象，关于BlockManager、CacheManager相关的后续再单独分析。

4、创建SparkUI
  　在SparkUI对象初始化函数中，注册了StorageStatusListener监听器，负责监听Storage的变化及时的展示到Sparkweb页面上。
attachTab方法中添加对象正是我们在Spark Web页面中看到的那个标签

5、添加EventLoggingListener监听器
  　这个默认是关闭的，可以通过spark.eventLog.enabled配置开启。它主要功能是以json格式记录发生的事件

6、创建Scheduler
　  创建了TaskScheduler、DAGScheduler

7、加入SparkListenerEvent事件
  　往LiveListenerBus中加入了SparkListenerEnvironmentUpdate、SparkListenerApplicationStart两类事件，
　  对这两种事件监听的监听器就会调用onEnvironmentUpdate、onApplicationStart方法进行处理




相关文章：

Spark源码分析(三)：TaskScheduler创建

Spark源码分析（一）-Standalone启动过程

不错，不错~

感谢楼主分享，谢谢

新人就这么厉害，佩服。