图解hadoop的MR计算流程

        图解hadoop的MR计算流程: 1.左边部分是map阶段,右边部分是reduce阶段 1)我们可以看出左边的有四个map task,一般情况下一个map tasl处理一个split的数据,一个split一般情况下是一个代表一个block size(128M),所以我们可以看到的是要处理的数据大小是3x128M--4x128M,所以我们回启动几个map task一般是取决要处理数据
相关文章
相关标签/搜索