shuffle原理

shuffle阶段又可以分为Map端的shuffle和Reduce端的shuffle。 一、Map端的shuffle Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统将会启动一个线程将缓冲区的数据写到磁盘，这个过程叫做spill。 在spill写入之前，会先进行二次排序，首先根据数据所属的pa

>>阅读原文<<