MapReduce 切片（split）

分片大小 对于HDFS中存储的一个文件，要进行Map处理前，须要将它切分红多个块，才能分配给不一样的MapTask去执行。 分片的数量等于启动的MapTask的数量。默认状况下，分片的大小就是HDFS的blockSize。 Map阶段的对数据文件的切片，使用以下判断逻辑：web protected long computeSplitSize(long blockSize, long minSize

>>阅读原文<<