spark1.x-spark-sql-数据倾斜解决方案

聚合源数据java 过滤致使倾斜的key where条件web 提升shuffle并行度 spark.sql.shuffle.partitionssql sqlContext.setConf("spark.sql.shuffle.partitions","1000") // 默认的并行度 为 200 reducetask只有200 双重group by 改写SQL 改为两次Group byj

>>阅读原文<<