mapreduce中MAP数量

一、果断先上结论 1.如果想增加map个数,则设置mapred.map.tasks 为一个较大的值。 2.如果想减小map个数,则设置mapred.min.split.size 为一个较大的值。 3.如果输入中有很多小文件,依然想减少map个数,则需要将小文件merger为大文件,然后使用准则2。 二、原理与分析过程 看了很多博客,感觉没有一个说的很清楚,所以我来整理一下。 输入分片(Input
相关文章
相关标签/搜索