spark源码学习(三)- TaskSchedular 提交taskset过程

背景      之前一直觉得task本地行,将task分配到哪个executor上是taskschedular作的事情,知道看了DagSchedular和TaskSchedular以后才知道,DagSchedular是负责上层调度,task具体运行在那个executor上,而TaskSchedular是决定task在ececutor上是process级别的本地行仍是memory级别的本地行,由于在
相关文章
相关标签/搜索