137、Spark核心编程进阶之spark算子的闭包原理

Spark中一个非常难以理解的概念，就是在集群中分布式并行运行时操作的算子外部的变量的生命周期 首先看张图 spark算子的闭包原理.png 通常来说，这个问题跟在RDD的算子中操作作用域外部的变量有关,所谓RDD算子中，操作作用域外部的变量，指的是，类似下面的语句: val a = 0; rdd.foreach(i -> a += i),此时，对rdd执行的foreach算子的作用域，其实仅仅是

>>阅读原文<<