spark源码学习(三):job的提交以及runJob函数的分析

                                spark源码学习:sparkContext的初始化分析(三) 并发        上一篇仅仅谈及了taskScheduler和schedulerBackend相关的代码。这篇blog记录一下和DAGScheduled相关的代码。DAGScheduled是底层的面向stage调度的划分,还会去跟踪哪些RDD和stage的输出已经物化,
相关文章
相关标签/搜索