SparkCore之RDD编程进阶

1 累加器 累加器用来对信息进行聚合，一般在向 Spark传递函数时，好比使用 map() 函数或者用 filter() 传条件时，可使用驱动器程序中定义的变量，可是集群中运行的每一个任务都会获得这些变量的一份新的副本，更新这些副本的值也不会影响驱动器中的对应变量。若是咱们想实现全部分片处理时更新共享变量的功能，那么累加器能够实现咱们想要的效果。java   1.1 系统累加器 针对一个输入的日志

>>阅读原文<<