Hive数据倾斜及调优

Hive中的数据倾斜和优化 常见的优化 1大表转化为小表，充分利用临时表 合理的利用分区表+外部表 数据存储格式，压缩的配置 SQL语句的优化 join---尽可能使用map join  filter 先过滤再处理html 开启并行 hive.exec.parallel  ->修改成true,开启并行 hive.exec.parallel.thread.number 设置并行的个数算法 开启JVM

>>阅读原文<<