Spark中的共享变量

spark两种共享变量 spark中有两种共享变量。分别为广播变量和累加器。 广播变量主要用于高效分发较大的数据对象，累加器主要用于对信息进行聚合。 广播变量 广播变量允许我们将一个只读的变量缓存在每台机器上，而不用在任务之间传递变量。广播变量可被用于有效地给每个节点一个大输入数据集的副本。 广播的数据被集群不同节点共享，且默认存储在内存中，读取速度比较快。 Spark还尝试使用高效地广播算法来分

>>阅读原文<<