Hadoop中的数据压缩

一丶数据压缩的策略和原则 压缩策略和原则： 压缩是提高Hadoop运行效率的一种优化策略。 通过对Mapper、Reducer运行过程的数据进行压缩，以减少磁盘IO，提高MR程序运行速度。 注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担。所以，压缩特性运用得当能提高性能，但运用不当也可能降低性能。 压缩基本原则： （1）运算密集型的job，少用压缩 （2）IO密集型的job，多用压缩

>>阅读原文<<