Hadoop中间结果lzop压缩

为了节省磁盘空间，文件的存储每每须要压缩，有的须要压缩比大，有的须要压缩速度快。而对于一套计算的结果存储，如多个MapReduce之间，须要能支持分片的压缩方式。lzop就是个能够支持分片的压缩方式，很是适合用于多个MapReduce之间的计算中间结果存储。

1、在Hadoop上安装lzop与在hive上的使用

https://www.iteblog.com/archi...

2、添加索引以支持分片

lzop默认是不支持分片的，须要添加索引。
https://www.iteblog.com/archi...