Shuffle原理剖析与源码分析

文章转自:http://blog.csdn.net/github_36444580/article/details/78637355 对比Spark与MR中的shuffle 1.Shuffle是MapReduce框架中的一个特定的phase(时期),介于Map phase和Reduce phase之间,当Map的输出结果要被Reduce使用时,输出结果需要按key哈希,并且分发到每一个Reduce
相关文章
相关标签/搜索