Spark学习之编程进阶——累加器与广播(5)

Spark学习之编程进阶——累加器与广播(5) 1. Spark中两种类型的共享变量:累加器(accumulator)与广播变量(broadcast variable)。累加器对信息进行聚合,而广播变量用来高效分发较大的对象。 2. 共享变量是一种能够在Spark任务中使用的特殊类型的变量。 3. 累加器的用法: 经过在驱动器中调用SparkContext.accumulator(initialV
相关文章
相关标签/搜索