Hadoop7days-4 shuffle

时间 2021-01-20

原文原文链接

Shuffle是MapReduce的心脏。如上图看到的，数据的流程是Map--->shuffle--->Reduce.但是，shuffle的具体过程是怎样的呢？ MAP端： Map的输出并不是简单的写到磁盘，等待Reduce的获取。每一个map都有一个环形内存缓冲区，默认大小为100M，当其中的缓冲内容达到阈值（80%），后台线程便把其中的内容溢写到磁盘（在写磁盘过程中，map输出继续写

>>阅读原文<<

1. Spark Shuffle之Sort Shuffle
2. Spark Shuffle之Hash Shuffle
3. spark的shuffle（hash shuffle and sort shuffle）
4. shuffle
5. Spark Shuffle之Tungsten Sort Shuffle
6. 详解MapReduce Shuffle与Spark Shuffle
7. MapReduce Shuffle 和 Spark Shuffle 详解
8. Spark Shuffle
9. hadoop Shuffle
10. MapReduce——shuffle
更多相关文章...
• PHP shuffle() 函数 - PHP参考手册
• ionic icon(图标) - ionic 教程
• Flink 数据传输及反压详解