MapReduce处理流程

MapReduce处理流程 1)把输出目录下文件按照一定的标准进行逻辑切片,形成切片规划 ​ 默认为,split size=Block size=128M。每一个切片由一个MapTask处理 2)TextInputFormat对切片中的数据进行一行一行的读取,把每一行文本内容解析成键 值对。key是每一行的起始位置,value是本行的文本内容 3)调用map方法,并将mapper结果输出到环形缓冲
相关文章
相关标签/搜索