InputSplit&&处理阶段mapReduce【partioner,combiner,shuffle】->reduce

InputSplit 输入分片(Input Split):在进行map计算之前,mapreduce会根据输入文件计算输入分片(input split),每个输入分片(input split)针对一个map任务,输入分片(input split)存储的并非数据本身,而是一个分片长度和一个记录数据的位置的数组。 Hadoop 2.x默认的block大小是128MB,hadoop 1.x默认的block
相关文章
相关标签/搜索