spark运行过程

一、构建spark application运行环境,建立sparkContext对象,SparkContext对象向资源管理器申请运行excuter的资源; 二、资源管理器分配运行excuter的资源,而且excuter与资源管理器保持心跳。 三、sparkContext构建DAG图,经过DAGScheduler进行Stage划分,而且将stage发送给TaskScheduler 四、TaskSc
相关文章
相关标签/搜索