Spark shuffle原理和详细图解

shuffle 中Map任务产生的结果会根据所设置的partitioner算法填充到当前执行任务所在机器的每个桶中。  Reduce任务启动时时，会根据任务的ID，所依赖的Map任务ID以及MapStatus从远端或本地的BlockManager获取相应的数据作为输入进行处理。 Shuffle数据必须持久化磁盘，不能缓存在内存。 Hash方式： shuffle不排序，效率高。 生成MXR个shuf

>>阅读原文<<