MapReduce分区和reduceTask的数量

MapReduce分区和reduceTask的数量 1.MapReduce分区:相同key的数据发送到同一个reduce里面去。 mapTask处理的是文件切片filesplit。 注意:block的概念是在hdfs当中的,mapreduce当中,每一个mapTask处理的数据都是叫做一个文件切片。 暂时可以简单地认为,一个文件切片就是对应一个block块。还可以简单地认为,有多少个block块,
相关文章
相关标签/搜索