spark核心构件之Dependency(依赖)

之前的文章说一个spark任务其实就是一系列rdd构成的有向无环图（dag），今天我们来看看，spark是如何表示rdd之间的依赖关系建立这个dag的。 一、rdd如何构成dag 上篇文章讲到了Partition和Partitioner知道了rdd是由一系列分区（partition）组成的，rdd之间的关系主要的其实就是分区之间的关系，也就是子rdd的某个分区数据需要依赖哪些rdd的哪些分区计算得

>>阅读原文<<