Hadoop输入和输出的处理类(7)

hadoop输入的处理类

                    InputFormat

                                    InputFormat负责处理MR的输入部分。

                                    做用：

                                            一、验证做业的输入是否规范。

                                            二、把输入文件切分红InputSplit。

                                            三、提供RecordReader的实现类，把InputSplit读到Mapper中进行处理。

                    FileInputFormat

                                    FileInputFormat是全部以文件做为数据源的InputFormat实现的基类，FileInputFormat保存为Job输入的全部文件，并实现了对输入文件计算splits的方法。至于得到记录的方法是由不一样的子类---TextInputFormat进行实现的。

                    TextInputFormat

                                    默认的处理类，处理普通文本文件。

                                    文件中每一行做为一个记录，他将每一行在文件中的起始偏移量做为key，每一行的内容做为value，默认以\n或回车键做为一行记录。

                                    注意：TextInputFormat集成了FileInputFormat。

                    InputSplit

                                    在执行MapReduce以前，原始数据被分割成若干Split，每一个Split做为一个Map任务的输入，在Map执行过程当中Split会被分解成一个个记录(key-value键值对)，Map会依次处理每个记录。

                                    Hadoop将MapReduce的输入数据划分红等长的小数据块，称为输入分片(InputSplit)或简称分片。

                                    Hadoop为每一个分片构建一个Map任务，并由该任务来运行用户自定义的Map函数从而处理分片中的每条记录。

                                    Hadoop在存储有输入数据(HDFS中的数据)的节点运行Map任务，能够得到最佳性能。这就是所谓的数据本地化优化。

                                    最佳分片的大小应该与块大小相同：

                                            由于它是确保能够存储在单个节点上的最大输入块的大小。若是分片跨越2个数据块，那么对于任何一个HDFS节点，基本上都不可能同时存储着2个数据块，所以分片中的部分数据须要经过网络传输到Map任务节点，。与使用本地数据运行整个Map任务相比，这种方法显然效率更低。

                    其余输入类

                                    CombineFileInputFormat

                                                相对于大量的小文件来讲，Hadoop更合适处理少许的大文件。

                                                CombineFileInputFormat能够缓解这个问题，它是针对小文件而设计的。

                                    KeyValueTextInputFormat

                                                当输入数据的每一行是两列，并用Tab分离的形式的时候，KeyValueTextInputFormat处理这种格式的文件很是适合。

                                    NlineInputFormat

                                                能够控制在每一个Split中数据的行数。

                                    SequenceFileInputFormat

                                                当输入文件格式是SequenceFile的时候，要使用SequenceFileInputFormat做为输入。

                    自定义输入格式

                                    一、集成FileInputFormat基类；

                                    二、重写getSplits(JobContext context)方法；

                                    三、重写createRecordReader(InputSplit split,TaskAttemptContext context)方法；

Hadoop输出的处理类

                     TextOutputFormat

                            默认的输出格式，key和value中间值用Tab隔开的。

                    SequenceFileOutputFormat

                            将key和value以sequence格式输出。

                    SequenceFileAsOutputFormat

                            将key和value以原始二进制的格式输出。

                    MapFileOutputFormat

                            将key和value写入MapFile中，因为MapFile中的key是有序的，因此写入的时候必须保证记录是按Key值顺序写入的。

                    MultipleOutputFormat

                            默认状况下一个Reduce会产生一个输出，可是有些时候咱们想一个Reduce产生多个输出，MultipleOutputFormat和MultipleOutputs能够实现这个功能。

                                                                                                                            Name：Xr

                                                                                                                            Date：2014-03-01 22:02