Spark共享变量(广播变量、累加器)

Spark两种共享变量：广播变量（broadcast variable）与累加器（accumulator）java 累加器用来对信息进行聚合，而广播变量用来高效分发较大的对象。apache 共享变量出现的缘由：闭包 一般在向 Spark 传递函数时，好比使用 map() 函数或者用 filter() 传条件时，可使用驱动器程序中定义的变量，可是集群中运行的每一个任务都会获得这些变量的一份新的副本，

>>阅读原文<<