压缩在大数据中的使用

1、为什么要使用压缩 单机：磁盘空间的限制 Hadoop/HDFS:DN是用来存储数据用的 药对HDFS上的数据进行压缩，减少 存储在HDFS上数据所占用的空间 1T ==》假如压完 300G 3T ==>就是 900G INPUT==>MR==>OUTPUT 好处： 减少HDFS读写数据量 提升网络传输效率 2、压缩的使用场景 input 数据的进入------》xxxx处理------->ou

>>阅读原文<<