Spark RDD 宽窄依赖——顿悟篇

1.宽窄依赖 ●两种依赖关系类型 RDD和它依赖的父RDD的关系有两种不同的类型，即 ·宽依赖(wide dependency/shuffle dependency) ·窄依赖(narrow dependency) ●图解 ●如何区分宽窄依赖 窄依赖:父RDD的一个分区只会被子RDD的一个分区依赖 宽依赖:父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle) 2.为什么要设计宽窄依

>>阅读原文<<