Spark组件之SparkContext原理源码剖析(乾坤大挪移第二层)

今天谈一下Spark比较重要的组件。 文章有不足之处,多多指正。 SparkContext 三个重点: TaskScheduler,如何注册application,executor如何反向注册 (重中之重) DAGScheduler的通信 SparkUI显示的是什么,用的是什么服务器 上流程图: TaskScheduler的创建流程如下: 流程总结: 启动CreateTaskScheduler()
相关文章
相关标签/搜索