Hive的优化

一. 总体架构的优化 hive计算引擎不单单支持MapReduce,而且还支持Tez, Spark等.根据不一样的计算引擎又可使用不一样的资源调度和存储系统。web 总体架构优化点: 1.根据不一样业务需求进行日期分区,并执行动态分区. 相关参数设置: 0.14中默认hive.exec.dynamic.partition=true算法 2.为了减小磁盘存储空间以及I/O次数.对数据进行压缩 相关参

>>阅读原文<<