Spark-RDD宽窄依赖、pipeline计算模式、Stage

一、RDD宽窄依赖 以WordCount为例： 窄依赖： 父RDD与子RDD partition之间的关系是一对一(父partition的数据只到一个子partition)，比如：rdd1->rdd2->rdd3。 父RDD与子RDD partition之间的关系是多对一。 宽依赖： 父RDD与子RDD partition之间的关系是一对多(父partition的数据只到多个子partition)

>>阅读原文<<