shuffle过程详解（spark与mr）

spark-shuffle与MapReduce shuffle MR shuffle 1、map端 2、reduce端 配置调优 map端的调优属性： reduce端的调优属性 spark shuffle 一.定义 二.演变 三.Hash Shuffle V1 有多少个reduce任务就会产生多少个中间文件（一个task--->所产生的文件数量=== reduce task数量） Hash Shu

>>阅读原文<<