MapReduce中input split和block的划分以及maptask和reducetask数量的肯定

学了mapreudce框架没多久,虽然会写不少的一些常见的案例,可是这个框架中一些本质地方的实现仍是有不少疑惑的。因此就想整理一下最近所学到的东西。 首先先理清楚block和split的区别。 一、block块 当把文件上传到hdfs中时,第一步要进行的操做就是划分数据,数据在hdfs中被划分为一块一块的,默认的大小是64MB,这个块的大小能够在haddop-default.xml中配置。另外,若
相关文章
相关标签/搜索