关于Spark的知识点

1.宽依赖与窄依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency）。 窄依赖： 窄依赖是指1个父RDD分区对应1个子RDD的分区，换句话说，一个父RDD的分区对应于一个子RDD的分区，或者多个父RDD的分区对应于一个子RDD的分区。所以窄依赖又可以分为两种情况： # 1个子

>>阅读原文<<