MapReduce核心流程梳理

MapReduce的大概流程: (1)maptask从目标文件中读取数据 (2)mapper的map方法处理每一条数据,输出到文件中 (3)reducer读取map的结果文件,进行分组,把每一组交给reduce方法进行处理,最后输出到指定路径。 这是最基本的流程,有助于快速理解MapReduce的工作方式。 通过上面的几个示例,我们要经接触了一些更深入的细节,例如mapper的inputform中
相关文章
相关标签/搜索