Spark 共享变量：广播变量、累加器

一般,以下操做rdd.transformation(func)，func所须要的外部变量都会以副本的形式从Driver端被发送到每一个Executor的每一个Task，当Task数目有成百上千个时，这种方式就很是低效;同时每一个Task中变量的更新是在本地，也不会被传回Driver端。为此，Spark提供了两种类型的共享变量：广播变量、累加器。java 广播变量 广播变量，Execoutor中的只

>>阅读原文<<