hive数据倾斜优化

一、什么是数据倾斜？html 因为数据分布不均匀，形成数据大量的集中到一点，形成数据热点函数 二、主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少许 reduce子任务未完成，由于其处理的数据量和其余的 reduce 差别过大。单一 reduce 处理的记录数和平均记录数相差太大，一般达到好几倍之多，最长时间远大于平均时长。oop 三、容易数据倾斜状况 性能

>>阅读原文<<