Spark中RDD的宽窄依赖 & 图解RDD执行中Application、Job、Stage、Task的关系

目录 1. RDD之间的依赖(以分区为说明) 2. RDD任务划分原理 3. Spark中RDD执行阶段划分示意图 1. RDD之间的依赖(以分区为说明) 窄依赖:每一个父RDD的Partition中的数据,最多被子RDD的一个Partition使用(单分区 -> 单分区);               窄依赖在源码里是OneToOneDependency 宽依赖:同一个父RDD的Partitio
相关文章
相关标签/搜索