84.Spark大型电商项目-用户访问session分析-数据倾斜解决方案之提高shuffle操作reduce并行度

本篇文章记录用户访问session分析-数据倾斜解决方案之提高shuffle操作reduce并行度。 提高shuffle操作的reduce并行度 第一个和第二个方案，都不适合做。 第三个方案，提高shuffle操作的reduce并行度 将reduce task的数量，变多，就可以让每个reduce task分配到更少的数据量，这样的话，也许就可以缓解，或者甚至是基本解决掉数据倾斜的问题。 怎么操作

>>阅读原文<<