SparkContext主构造函数代码提取

这是阅读sparkContext类的代码作的一个笔记。阅读这个类的时候,主要的任务就是搞清楚sparkContext是怎么构造的,java、C#的class的初始化都是放在一个方法中的,而scala的主构造函数代码几乎散落在真个sparkContext类中,这就须要咱们将其整理出来,才能有条理的进行阅读工做。java

 

sparkContext的主构造函数中做的主要的几件事情有:函数

一、各类解析conf(这个我没有统一收录,实在太多,若是要看,直接到sparkContext类搜索“conf”) spa

二、sparkEnv的建立,以及他内部组件(ListenerBus、metrics system、blockmanager等)的初始化、start.net

(ListenerBus、metrics system的简介贴上 http://blog.csdn.net/allwefantasy/article/details/50449464 )scala

三、 TaskScheduler、DAGScheduler、SparkUI 的建立及startblog

 

 上代码笔记图:(SparkContext主构造函数代码提取)get

 

相关文章
相关标签/搜索