spark 大型项目实战(五十三):数据倾斜解决方案之聚合源数据

数据倾斜的解决，跟以前讲解的性能调优，有一点殊途同归之妙。web 性能调优，跟你们讲过一个道理，“重剑无锋”。性能调优，调了半天，最有效，最直接，最简单的方式，就是加资源，加并行度，注意RDD架构（复用同一个RDD，加上cache缓存）；shuffle、jvm等，次要的。sql 数据倾斜，解决方案，第一个方案和第二个方案，一块儿来说。最朴素、最简谱、最直接、最有效、最简单的，解决数据倾斜问题的方案

>>阅读原文<<