Hadoop--MapReduce10--工作机制

以WordCount为例,研究一下MapReduce的内部工作机制。 统计某个输入目录下所有文件中每个单词以及出现的次数。 map阶段:读取数据每一行,切分数据,单词作为key,次数1作为value,输出到context中。 reduce阶段:接受来自map阶段的输出,按照相同key来聚合分组,每一组执行一次reduce方法,累加,将结果写入到context中。 最终MapReduce运行过程如下
相关文章
相关标签/搜索