mr shuffle和spark shuffle的区别

前言  对比mr和spark，Shuffle 过程有着诸多类似，例如，Shuffle 过程中，提供数据的一端被称作 Map 端，Map 端每个生成数据的任务称为 Mapper，对应的，接收数据的一端被称作 Reduce 端，Reduce 端每个拉取数据的任务称为 Reducer。Shuffle 过程本质上都是将 Map 端获得的数据使用分区器进行划分，并将数据发送给对应的 Reducer 的过程。

>>阅读原文<<