图解wordcount mr执行流程

wordcount mr执行流程 对文本文件进行split 每个split对应一个map 进行处理 a => <a,1> 本地进行combiner操作(想当与本地reduce),相同的key进行汇总 shuffle 网络传输按key进行分发数据,相同的key在同一个reduce reduce对 数据进行聚合并落盘
相关文章
相关标签/搜索