图解SparkContext创建过程

1.SparkContext构建的顶级三大核心对象:DAGScheduler、TaskScheduler、ShedulerBackend,其中: 1)DAGScheduler是面向Job的Stage的高层调度器; 2)TaskScheduler是一个接口,根据具体的Cluster Manager的不同会有不同的实现,Standalone模式下具体的实现是TaskSchedulerImpl; 3)S
相关文章
相关标签/搜索