Spark部分广播变量的理解（原理+图解+代码实现）

    1.广播变量         当在Executor端用到了Driver变量，不使用广播变量，在每一个Executor中有多少个task就有多少个Driver端变量副本。         若是使用广播变量在每一个Executor端中只有一份Driver端的变量副本。         val broadcast = sc.broadCast(...)         broadcast.val

>>阅读原文<<