Apache Spark RDD依赖关系

RDD依赖关系 宽窄依赖 两种依赖关系类型 RDD和它依赖的父RDD的关系有两种不同的类型，即 宽依赖(wide dependency/shuffle dependency) 窄依赖(narrow dependency) 图解 如何区分宽窄依赖 窄依赖:父RDD的一个分区只会被子RDD的一个分区依赖 宽依赖:父RDD的一个分区会被子RDD的多个分区依赖(涉及到shuffle) 面试题： 子RDD的

>>阅读原文<<