Spark----关于数据倾斜

如何定位数据倾斜 数据倾斜一般会发生在shuffle过程中。很大程度上是你使用了可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。 spark 调优: 调优工具: 1、Spark Web UI       Spark内置应用运行监控工具 2、Ganglia      

>>阅读原文<<