spark源码学习(二)- DAGSchedular 划分job,提交stage的过程

背景          了解dagSchedular提交job,就须要了解什么是job,什么是stage,若是咱们写了一段程序,其中调用了多个spark算子,可是咱们知道,实际在计算的时候,只有在遇到action算子的时候,才会触发计算操做,而这个计算操做就是一个job,因此说一次action操做就会触发提交一个job,好比collect和first操做都会触发sparkcontext的runjo
相关文章
相关标签/搜索