Split的逻辑切分

文字概述 获取到读取到的数据,对数据进行逻辑切分,切分的大小是128M. 这里的128 与HDFS数据块的128没有任何关系 HDFS 128 是存储层面的数据切分 split128 是计算层面的128,只不过数据恰好相等。 两个128相同的原因是,一个集成程序能够正好计算一个数据块。 图片流程
相关文章
相关标签/搜索