大数据的压缩与存储

压缩 压缩的好处 1.提升磁盘的利用率 2.加速网络传输 压缩的坏处 压缩解压需要消耗cpu 压缩的技术 有损 无损 压缩比 源文件1.4G 压缩技术 剩余大小 snappy 701M Lz4 693M LZO 684M gzip 447M Bzip2 390M 压缩得越小，消耗的时间越多，速度越慢 分片 bzip,lzo(需要创建索引 create index) 支持分片，其余压缩方式都不支持分

>>阅读原文<<