Mapreduce学习（五）——数据压缩

一、为什么进行数据压缩？ mapreduce操作需要对大量数据进行传输 二、数据压缩的作用。 压缩技术有效的减少底层存储系统读写字节数，hdfs。 压缩提高网络带宽和磁盘效率。 数据压缩节省资源。 通过数据压缩可以影响到mapreduce的性能。 注意：数据压缩不适用于文件小任务多的情景 三、mapreduce常用的压缩编码          压缩格式 是否需要安装 文件拓展名 是否可以切分 DE

>>阅读原文<<