Spark中的广播变量与累加器

Spark两种共享变量：广播变量（broadcast variable）与累加器（accumulator），广播变量经常使用来高效分发较大的对象，而累加器用来对信息进行聚合。html 共享变量出现的缘由：一般在向 Spark 传递函数时，好比使用map或reduce传条件或变量时，在driver端定义变量，可是集群中运行的每一个任务都会获得这些变量的一份新的副本，更新这些副本的值driver端的对

>>阅读原文<<