spark数据倾斜

1、什么是数据倾斜？ 数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。 数据倾斜，会导致： OOM（单或少数的节点）； 运行速度慢，拖慢整个Job执行时间（出现数据倾斜的节点会成为整个Job的瓶颈）。 2、数据倾斜的原理 数据倾斜产生的原因 Spark在做数据运算的时候会涉及countd

>>阅读原文<<