Hadoop数据压缩

文章目录 回顾Shuffle Hadoop数据压缩 1 概述 2 压缩策略和原则 3 MR 支持的压缩编码 压缩格式特点 Gzip Bzip2 Lzo **Snappy 回顾Shuffle 加载在map 输出 reduce 输入之前这么一个过程 shuffle目的 —“分组” 环型缓冲区80%（分区排序–同时完成）----combiner----- 溢写磁盘上（分区且有序 spill.index(

>>阅读原文<<