Spark程序设计——accumulator、广播变量、cache

（一）accumulator（累加器、计数器） 相似于MapReduce中的counter，将数据从一个节点发送到其余各个节点上去。 一般用于监控，调试，记录符合某类特征的数据数目等。 –分布式counter Accumulator使用web import SparkContext._ val total_counter=sc.accumulator(OL,"total_counter")//第一

>>阅读原文<<