MapReduce内部数据处理流程(未完成)

MapReduce数据处理流程 1、数据来源路径:FileInputFormat.setInputPaths(),输入目录中,可以有单个或多个文件; 2、对原始数据进行处理、任务划分: (1)任务切片:切片是逻辑切片,非物理切片; (2)切片大小由输入文件的大小、文件数量和配置参数决定; (3)(集群中)默认128M一个任务切片,(本地模式)32M一个任务切片; (4)任务切片逻辑确定maptas
相关文章
相关标签/搜索