mapreduce 作业中 map/reduce 个数的计算

1. 问题描述    当在hadoop集群提交mapreduce作业时,map 和 reduce 的个数是如何计算的?   2. map个数的计算    2.1  map个数的计算和分片大小(splitSize)是有关系的,所以我们先看看splitSize的计算公式:  long splitSize =   Math.max(minSize, Math.min(maxSize, blockSize
相关文章
相关标签/搜索