spark的广播变量和累加器的用法

今天咱们主要来讲一下spark的广播变量和累加器的具体使用,先来看一下官网的介绍:程序员 共享变量 一般,当在远程集群节点上执行传递给Spark操做(例如map,reduce)的函数时,它将在函数中使用的全部变量的单独副本上工做.这些变量将复制到每台计算机,而且远程计算机上的变量更新不会传播回驱动程序.支持跨任务的通用,读写共享变量效率低下.可是,Spark确实为两种常见的使用模式提供了两种有限类

>>阅读原文<<