SparkSQL自定义Hint优化器解决热点数据致使JOIN数据倾斜问题

https://www.jianshu.com/p/ea52f3801d7bsql 场景 有时咱们经过sparkSQL来分析数据，当使用Join操做时，最让人头疼的莫过于数据倾斜了，若是你是大表关联小表的状况，那状况还不是很糟糕，能够使用MAPJOIN来破解一下，spark使用spark.sql.autoBroadcastJoinThreshold参数来自动开启MAPJOIN； BUT，若是两张表

>>阅读原文<<