黑猴子的家：Hive 表的优化之 大表 Join 大表

1、空KEY过滤 有时join超时是因为某些key对应的数据太多，而相同key对应的数据都会发送到相同的reducer上，从而导致内存不够。此时我们应该仔细分析这些异常的key，很多情况下，这些key对应的数据是异常数据，我们需要在SQL语句中进行过滤。例如key对应的字段为空，操作如下 案例实操 （1）配置历史服务器 配置mapred-site.xml <property> <name>

>>阅读原文<<