【spark】6.编程进阶

文章目录 累加器 广播变量 基于分区进行操做 与外部程序间的管道 数值RDD操做 累加器 提供了将工做节点中的值聚合到启动器程序中的简单语法。常见用途是调试时对做业执行过程当中的事件进行计数。python # 例如累加空行 file = sc.textFile(inputFile) # 建立累加器并初始化为0 blankLines = sc.accumulator(0) def extractCa

>>阅读原文<<