Shuffle 中六大使人费解的问题

第一大问题:何时进行 Shuffle 的 fetch 操做?Shuffle 是在一边进行 Mapper 端 map 操做的同时,一边进行 Reducer 端的 shuffle 和 reduce 操做吗? 错误的观点是:Spark 是一边 Mapper 一边 Shuffle 的,而 Hadoop MapReduce 是先完成 Mapper 而后才进行 Reducer 的 Shuffle。正确的观点是
相关文章
相关标签/搜索