MapReduce中Splits的划分

      MapReduce框架在执行时,先使用InputFormat模块做Map的预处理,比如验证输入的格式是否符合输入的定义;然后,将输入文件划分为逻辑上的多个InputSplit,InputSplit是MapReduce对文件进行处理和运算的输入单位,只是一个逻辑概念,每个InputSplit并没有对文件进行实际的切割,只是记录了要处理的数据的位置和长度。       因为InputSpl
相关文章
相关标签/搜索