Hadoop 数据压缩

1.概述     压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。     鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最

>>阅读原文<<