Spark任务调度

RDD Objects: 两个RDD合并后分组、过滤 DAGScheduler: 将程序生成DAG图,并切割stage、划分Task(初始partition数量),将一个stage的task封装到一个taskset,并发送至TaskScheduler TaskScheduler 这个类会向Cluster manager(Yarn)请求资源,获取到资源后,会将TaskSet打散送至申请到的Worke
相关文章
相关标签/搜索