Mapreduce基本工作流程

map 端从hdfs读入数据到完成映射到详细过程： 以用wordcount计算一个文本为例  读取数据之后在内存中的大体形式是：键值对 map task 要做排序（方便索引），并且会把结果写在本地磁盘上（而不是写入hdfs，以免占用大量资源），reduce直接通过yarn找到对应的map，从map的磁盘上读取结果进行reduce（聚合）,也会通过归并排序进行排序 reduce会把最终结果写入hdf

>>阅读原文<<