从源码分析MapReduce的数据切片原理

切片过程从JobSubmitter的writeSplits()开始 ---step into writeNewSplits() ---step into getSplits() 开始获取新的切片 首先会选出Format默认最小值和配置文件中设置的切片最小值  二者中最大的一个 getFormatMainSplitSize()默认返回值为1  getMinSplitSize()中,如果配置文件未设置
相关文章
相关标签/搜索