Hadoop之MR处理数据基本流程

在启动程序中,FileInputFormat设置数据的输入路径,程序处理的是该路径中的所有文件, 1、如何处理 (1)、该路径中有几个文件就有几个map任务。map任务的个数是根据文件大小和个数来确定的。 (2)、在进行map任务之前,文件中的数据被一行一行的读,形成了K1:一行的起始位置,V1:行内容,这就是map任务被输入的K1,V1。 (3)、行内容V1被一行一行的切割,切割的时候要将这行数
相关文章
相关标签/搜索