spark学习 - 数据倾斜

文章目录 Example spark数据倾斜现象 数据倾斜原因 发现数据倾斜 数据倾斜 Solution 1 – 使用reduceByKey 数据倾斜 Solution 2 – 两阶段聚合 数据倾斜 Solution 3 – 扩增数据 数据倾斜 Solution 4 – MapSideJoin Example spark数据倾斜现象 单个Executor执行时间久 OOM Executor Dri

>>阅读原文<<