Spark的Stage划分

时间 2021-08-15

标签 Spark 栏目 Spark 繁體版

原文原文链接

文章目录 0x01 宽依赖和窄依赖 0x02 Stage 0x03 Stage的划分为什么遇到宽依赖需要切分Stage？ 0x01 宽依赖和窄依赖窄依赖：父RDD的每个分区最多被子RDD的一个分区所用（一个父RDD分区对应一个子RDD分区），即父RDD的数据没有被重新规划分区（没有被重新洗牌）。宽依赖：父RDD的每一个分区被子RDD的所有分区所用（一个父RDD分区的数据被分发到子RDD的

>>阅读原文<<

1. Spark Stage 的划分
2. Spark中stage的划分
3. spark学习-50-Spark的stage的划分
4. Spark DAG之划分Stage
5. Spark-Stage任务划分
6. spark源码系列(4) spark stage划分
7. spark 中stage 和 task的划分
8. Spark作业调度中stage的划分
9. Spark中划分stage的规则
10. Stage的划分
更多相关文章...
• IP地址的格式和分类 - TCP/IP教程
• SVN分支 - SVN 教程
• 常用的分布式事务解决方案
• Git五分钟教程