hadoop中的压缩

hadoop中的压缩 一、考虑指标 二、具体压缩格式 1. Gzip 2. bzip2 3. LZO 4. Snappy 三、总结 一、考虑指标 （1）压缩文件的大小：越小越好 （2）压缩文件所用时间：越快愈好 （3）已经压缩的格式是否可以进行再分割：可以分割的格式允许单一文件由多个 Mapper 程序处理，可实现更好的并行度。 二、具体压缩格式 1. Gzip 优点：压缩率比较高，而且压缩/解压

>>阅读原文<<