Spark中宽依赖和窄依赖的区别

一、什么是宽依赖、窄依赖 Spark中RDD的高效与DAG（有向无环图）有着莫大的关系，在DAG调度中我们需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分为宽依赖和窄依赖。那么到底什么是宽依赖和窄依赖的？ 1、宽依赖：是指1个父RDD分区对应多个子RDD的分区 2、窄依赖：是指一个或多个父RDD分区对应一个子RDD分区 简单的说就是我们在

>>阅读原文<<