MapReduce详细流程介绍(图文并茂)

详解:整个数据处理流程分为map task 和reduce task 两部分,map task负责map阶段的数据处理, reduce task负责reduce阶段的数据处理。 map task 读文件的时候通过InputFormat中将文本进行切片,再通过RecordReader中的read方法 将文件内容读取,返回键值对,key是文本的行号,value是对应的该行的值,然后我们使用Mapper
相关文章
相关标签/搜索