Spark调优方案-数据倾斜调优

时间 2020-12-25

原文原文链接

目录数据倾斜现象发生数据倾斜现象的原因定位发生数据倾斜的代码解决方法数据倾斜现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。原本能够正常执行的Spark作业，突然报出OOM（内存溢出）异常，观察异常栈，是我们写的业务代码造成的。这种情况比较少见。