06-Spark进阶编程

前言 下面简单介绍一些更加深入、实用、高阶的Spark知识。 1 共享变量 通常在向Spark传递函数时，比如实用map()函数或filter()传递条件时，可以使用驱动器程序中定义的变量，但是集群中运行的每个任务都会得到这些变量的一份新的副本，更新这些副本的值也不会影响驱动器中对应的变量。 Spark的两个共享变量，累加器和广播变量，分别为结果聚合与广播这两种常见的通信模式突破了这一限制。 --

>>阅读原文<<