SparkSQL_JOIN 倾斜优化_1.cashtable 2.broadcast 3.数据膨胀 详解

  这是一个面试会遇到的问题，网上处理方法一大堆，可是讲清楚实现的并很少，也没什么例子。 这里对这个问题就具体的实现作个展现。面试   首先，主流的作法有如下几种table 1.cashtable （更相似于 Hive 中 Map JOIN）ast 2.broadcast 后，join 至关于本身实现 broadcast join方法 3.数据膨胀，去前缀（操做复杂，不推荐）不知道为那么那么多人推

>>阅读原文<<