Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试

一.测试背景 工做中想把历史的APP日志结构化到Hive中进行查询，因为数据较大，须要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。html   二.测试方法概述   数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfile文件（标准JSON）。 测试平台：公司Ambari测试平台，物理内存100G。 测试方法：

>>阅读原文<<