Spark2.3.2源码解析：Shuffle 过程写入的 数据文件&索引文件

  Spark 在 shuffle 过程中,如果内存空间不足会向磁盘溢写文件, 一个索引文件,一个数据文件. 那么这两个文件长什么样? 里面放什么数据呢?     文件命名:  ShuffleBlockId : "shuffle_" + shuffleId + "_" + mapId + "_" + reduceId 数据文件名: ShuffleDataBlockId : "shuffle_

>>阅读原文<<