Spark 共享变量

Spark中有两种类型的共享变量:一个是累加器accumulator、一个是广播变量broadcast variable。java 累加器:用来对信息进行聚合 广播变量:用来高效分发较大的对象web 一. 累加器 累加器的一个常见用途是在调试时对做业执行过程当中的事件进行计数,如:统计日志中空行数、统计错误行数等。apache 用法: 经过调用JavaSparkContext.accumulato
相关文章
相关标签/搜索