mapreducer的运行机制

mapreducer的运行机制 map阶段 1 通过读取数据组件 InputFormat (默认 TextInputFormat) 将文件进行逻辑切片,然后启动对应切片个数的maptask任务 2 通过recordread读取数据,返回<key1,value1>的键值对 3 进入自定义的mapper类中,调用map函数,读取一行记录就会调用一次,输出处理后的键值对; map的shuffle阶段 4
相关文章
相关标签/搜索