Hadoop支持Lzo和分片

Hadoop支持Lzo和分片 为了节省磁盘空间，文件的存储往往需要压缩，有的需要压缩比大，有的需要压缩速度快。而对于一套计算的结果存储，如多个MapReduce之间，需要能支持分片的压缩方式。lzop就是个可以支持分片的压缩方式，非常适合用于多个MapReduce之间的计算中间结果存储。 在Hadoop上安装lzop与在hive上的使用，并且支持分片功能 参考：http://www.javashu

>>阅读原文<<