SparkCore-RDD编程进阶

1、累加器        累加器用来对信息进行聚合，一般在向 Spark传递函数时，好比使用 map() 函数或者用 filter() 传条件时，可使用驱动器程序中定义的变量，可是集群中运行的每一个任务都会获得这些变量的一份新的副本，更新这些副本的值也不会影响驱动器中的对应变量。若是咱们想实现全部分片处理时更新共享变量的功能，那么累加器能够实现咱们想要的效果。java 1.系统累加器算法    

>>阅读原文<<