spark有向无环图与血缘

Spark 有向无环图与血缘 当我们提交jar包运行时，spark会在节点中随机选择一个节点作为Driver端，Driver端会运行一遍程序形成DAG(有向无环图) 然后，数据会根据有向无环图运行，图中的每个节点生成的df是一次性的，也就是说C的数据被D1所用后，C的数据就没有了，当D2用C的数据时，C数据会从A -> B -> C 重新计算 优化：我们将C的数据进行持久化，此时DAG会打断血缘，

>>阅读原文<<