Spark 数据倾斜的整理

目录: 1、 什么是数据倾斜？？？？（基于Spark 架构） 2、何谓数据倾斜？？？？ 3、数据倾斜是如何造成的？？？？ 4、数据倾斜是如何解决的？？？？ 1.仔细查看定位导致数据倾斜的代码。（数据倾斜只会发生在 shuffle 过程中） 2.某个 task 执行特别慢的情况 3.某个 task 莫名其妙内存溢出的情况 4.查看导致数据倾斜的 key 的数据分布情况 5.自定义 Partition

>>阅读原文<<