Hadoop MapReduce Splits 切片源码分析及切片机制

本文从Job提交,逐步分析Splits相关源码。 数据块:Block是HDFS物理上把数据分成一块一块的。 数据切片:数据切片只是在物理上输入进行分片,并不会在磁盘上将其分成片进行存储。 文件路径 org/apache/hadoop/mapreduce/JobSubmitter.java // Create the splits for the job LOG.debug("Creating sp
相关文章
相关标签/搜索