MapReducejob提交流程源码和切片源码解析

FileInputFormat切片源码解析(input.getSplits(job)) 程序先找到数据存储的目录 开始遍历处理(规划切片)目录下的每一个文件 遍历第一个文件ss.txt a) 获取文件大小fs.sizeOf(ss.txt) b)计算切片大小 c)默认情况下,切片大小=blocksize d)开始切,形成第一个切片,0-128M第一个切片128-256M第二个切片 (每次切片时,都要
相关文章
相关标签/搜索