Hadoop --- 数据倾斜问题

数据倾斜现象  数据倾斜实质上是指数据分布不均匀。在利用HQL、Spark或MR等方式进行数据计算时，大量的数据被分配到某台或某几台机器上，导致分布于这些机器上的任务执行速度远低于其他机器，甚至出现被kill的情况。 产生问题 个别任务卡住，执行速度很慢；Hadoop常见的现象是，一个作业的个别Reduce任务卡在99.9%，很长时间处理不完。 任务被kill掉；数据量大触发FGC，导致没有在设定

>>阅读原文<<