Hive----Hive应用2.数据倾斜

数据倾斜  1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点  2、Hadoop 框架的特性 A、不怕数据大，怕数据倾斜 B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题  3、主要表现： 任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 re

>>阅读原文<<