【Spark系列】：Spark 的 shuffle 文件寻址流程

文章目录 1. 前言 2. 须要明白的概念 3. shuffle 寻址流程 4. 如何避免OOM 1. 前言 让咱们先来回忆一下MapReduce 的 shuffle 过程。web 在MapReduce框架，Shuffle是链接Map和Reduce之间的桥梁，Map阶段经过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程

>>阅读原文<<