5. MapReduce中Shuffle

shuffle翻译为中文就叫 ”洗牌“,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。有些抽象,当前不理解也没关系,先了解一下shuffle的流程。 本节内容参考了如下内容 [1] MapReduce:详解Shuffle(copy sort merge)过程 https://
相关文章
相关标签/搜索