［大数据］由点入面了解MapReduce

一：MR的工作原理是什么？ 1.从HDFS读取的文件进行split分片，split与block的对应关系可能是多对一，默认是一对一，每一片对应一个map。 2.在经过mapper的运行后，我们得知mapper的输出是这样一个key/value对；同时执行partitioner，每一个map对数据通过hash生成不同的key进行partition，决定数据对应的reduce，默认对key hash后

>>阅读原文<<