spark-core源码阅读-累加器(十)

spark-core源码阅读-累加器(十) 使用场景 累加器是一种支持并行只能added的特殊变量,经常使用来计次/求和,咱们也能够自行定义新数据类型支持addedjava 基本原理 累加器变量在每一个task任务中依次added,把结果传到Driver端进行合并,因此这是分布式计算,只有driver端才能读取累加器最终值web 先看一个例子 object AccumulatorTest {

>>阅读原文<<