Spark shuffle 文件寻址及 Executor 内存管理

一.文件寻址 根据 Spark Shuffle概述 最后，reduce task (或者说是 Worker 端)是如何找到索引文件这些磁盘小文件位置的呢？ 假如 spark.shuffle.memoryFraction 初始有50M ，第一次拉取数据的时候48M 可以放得下，还剩2M 的内存，第二次拉取的时候放不下了不会 OOM ，以后都不会 OOM ，而是直接溢写磁盘。 假如 spark.shu

>>阅读原文<<