spark内核揭秘-03-spark核心组件

spark核心组件如下所示:     在SparkContext初始化的时候,会初始化一系列内容: 查看内存使用情况:   创建和启动scheduler:     集群核心组件中的Block tracker是用于block和partition对应关系的管理。 集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。 从集群中也可以看出,Executor在执行任务的时候
相关文章
相关标签/搜索