Mapper输入InputSplit分片数透析

什么是InputSplit InputSplit是指分片,在MapReduce当中做业中,做为map task最小输入单位。分片是基于文件基础上出来的而来的概念,通俗的理解一个文件能够切分为多少个片断,每一个片断包括了<文件名,开始位置,长度,位于哪些主机>等信息。map task的数量由输入文件总大小和分片大小肯定的;hadoop2.2版本hdfs的数据块默认是128M。若一个文件大于128M,
相关文章
相关标签/搜索