MapReduce架构，shuffle，mapred，hdfs读流程

MapReduce运行模式如下 主要分为map，reduce，shuffle几个步骤： map相当于给数据作用一个规则，取得作用规则后数据的映射，例如： Map() 映射 a xyz -> (x,1)(y,1)(z,1) 映射成key，value的形式 b xxyyz c kkkkkkkkzzzzz d kkxx shuffle相当于洗牌，归类 a (x,1)(x,1)...

>>阅读原文<<