Mapreduce中Map与Reduce任务的个数

一、Map任务的个数web 读取数据产生多少个Mapper?? Mapper数据过大的话,会产生大量的小文件,过多的Mapper建立和初始化都会消耗大量的硬件资源 Mapper数过小,并发度太小,Job执行时间过长,没法充分利用分布式硬件资源编程 Mapper数量由什么决定?? (1)输入文件数目(2)输入文件的大小(3)配置参数 这三个因素决定的。 输入的目录中文件的数量决定多少个map会被运行
相关文章
相关标签/搜索