理解Spark-RDD共享变量 --- Shared Variables

通常，当在远程集群节点上执行传递给Spark操作（例如map或reduce）的函数时，它将在函数中使用的所有变量的单独副本上工作。  这些变量将复制到每台计算机，并且远程计算机上的变量的更新不会传播回驱动程序。 支持跨任务的通用，读写共享变量效率低下。  但是，Spark确实为两种常见的使用模式提供了两种有限类型的共享变量：广播变量和累加器。   1.广播变量-Broadcast Variable

>>阅读原文<<