spark源码分析之窄依赖和宽依赖篇

窄依赖：子RDD的partition和父RDD的partition是一一对应的。（join操作除外，此操作是多对一） 注意点： 若parent RDD有已知的partitioner（若已知的partitioner相同，两个RDD会协同，那么就能避免网络传输，两个parent RDD 的相同partition会在同一个节点上），只能产生窄依赖，如上图的“join with inputs co-par

>>阅读原文<<