hive 和hadoop数据压缩与存储格式选择

hive和hadoop 数据压缩与存储格式选择 概述 为什么会出现需要对文件进行压缩？  在Hadoop中，文件需要存储、传输、读取磁盘、写入磁盘等等操作，而文件的大小，直接决定了这些这些操作的速度。 压缩在大数据中的使用 为什么需要压缩？ 1） 存储 2） 网络/磁盘IO  常见压缩方式、压缩比、压缩解压缩时间、是否可切分 原文件：1403M Snappy 压缩：701M，压缩时间：6.4s，解

>>阅读原文<<