Hadoop中不容错过的压缩知识

随着大数据时代的来临，数据体量越来越大，处理这些数据会越来越受到网络IO的限制，为了尽可能多的处理更多的数据我们必须使用压缩。那么压缩在Hadoop里面是不是所有格式都适用呢?它都有哪些性能呢? 压缩在sqoop里面可以做，在hive和impala里面也可以做。那么什么情况下我们会用压缩呢?通常在数据量非常大，我们通过压缩去减小数据量，从而达到将来去使用数据的时候，减少数据传输IO的情况下去使用。

>>阅读原文<<