spark2原理分析-Job对象的实现原理

概述 本节介绍Spark Job对象的实现原理。 Job的基本概念 在《spark2原理分析-Job执行框架概述》一文中介绍了Job的执行框架的基本概念,本节详细介绍其中的Job对象的实现原理。 上面的文章已经介绍过了,Job是由于执行Action操作函数产生的。Job是提交给 DAGScheduler(Job调度器)来计算action操作结果的顶层工作单元(计算单元)。在Spark代码实现层面,
相关文章
相关标签/搜索