Spark解决数据倾斜的方法

Spark共享变量 计数器 和 广播变量是Spark提供的两个共享变量，提供给不同结点上的RDD函数使用 计数器 一个只能增加，用于计数和求和的变量 创建方法是SparkContext.accumulator(v, name)，其中v是初始值，name是名称   广播变量 一个只读变量，spark把该变量在所有结点上都缓存一份 创建方法是SparkContext.broadcast(变量)   S

>>阅读原文<<