Shuffle详解

Shuffle过程是MapReduce的核心。Shuffle的意思是洗牌或者打乱，会使用Java的同学应该见过Java API里面的Collections.shuffle(list)方法，它会随机地打乱参数list里面的元素顺序。 如果读者不知道MapReduce里面的Shuffle是什么，请看下图 Shuffle差不多就是从MapTask输出到ReduceTask输入的这一过程。 在真实的Had

>>阅读原文<<