Shuffle(混洗)

文章目录 shuffle的步骤 图片步骤 shuffle的步骤 shuffle 分为 分区, 排序, combiner, 分组,四个步骤 1map把key和value的值传给shuffle的partition, … …partition按照一定的算法来给数据划分区域然后传给shuffle的soft (算法:对key 进行哈希,获取到一个哈希值,用这个哈希值与reducetask的数量取余。余几,这
相关文章
相关标签/搜索