Mapreduce框架-MapTask工做原理

MapTask的工做原理 1 map文件切割 splitsize的大小。分片是按照splitsize的大小进行的,默认状况下,splitsize的大小等同于hdfs的block大小。但能够经过参数调节。 splitsize=Math.max(minSize,Math.min(maxSize,blockSize)) 其中:mapreduce配置文件配置。 minSize =mapreduce.inp
相关文章
相关标签/搜索