spark--job物理执行图

Job 物理执行图 在 Overview 里咱们初步介绍了 DAG 型的物理执行图,里面包含 stages 和 tasks。这一章主要解决的问题是:html 给定 job 的逻辑执行图,如何生成物理执行图(也就是 stages 和 tasks)?算法 一个复杂 job 的逻辑执行图 代码贴在本章最后。给定这样一个复杂数据依赖图,如何合理划分 stage,并肯定 task 的类型和个数?apache
相关文章
相关标签/搜索