SparkSQL自定义Hint优化器解决热点数据致使JOIN数据倾斜问题

场景 有时咱们经过sparkSQL来分析数据，当使用Join操做时，最让人头疼的莫过于数据倾斜了，若是你是大表关联小表的状况，那状况还不是很糟糕，能够使用MAPJOIN来破解一下，spark使用spark.sql.autoBroadcastJoinThreshold参数来自动开启MAPJOIN； BUT，若是两张表数据量都很大的话，MAPJOIN就无能为力了。git 使用自定义hint 处理Joi

>>阅读原文<<