MapReduce超详细内部核心工作机制

比如说我们需要MR去对hdfs的...../input/file1,2,3,4,5.....的很多文件进行处理，首先在提交MR程序的时候Job客户端会根据你写的目录去扫描所有的文件。按照block size进行分片的划分。 然后，不同的map task 并行的去处理这些分片。 假设map task 0 去处理split 0 ： 首先，TextInputFomat将split0读进来，然后一行一行的

>>阅读原文<<