Hadoop数据读写原理

数据流 　　MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop把输入数据划分成等长的小数据发送到MapReduce，称之为输入分片。Hadoop为每个分片创建一个map任务，由它来运行用户自定义的map函数来分析每个分片中的记录。 　　这里分片的大小，如果分片太小，那么管理分片的总时间和map任务创建的总时间将决定作业的执行的总时间。

>>阅读原文<<