spark四 依赖和shuffle

依赖（血缘）的作用 RDD只支持粗粒度转换，即在大量记录上执行的单个操作。将创建RDD的一系列Lineage（即血统，依赖）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 spark的宽窄依赖 RDD和依赖的父RDD关系有两种,就是宽依赖和窄依赖 宽依赖: 多个子RDD的pa

>>阅读原文<<