Spark核心编程：共享变量（Broadcast Variable和Accumulator）

1.共享变量工做原理 1.默认状况下，若是在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每一个task中。此时每一个task只能操做本身的那份变量副本。若是多个task想要共享某个变量，那么这种方式是作不到的。所以，Spark提供了两种共享变量，一种是Broadcast Variable（广播变量），另外一种是Accumulator（累加变量）。Broadcast Varia

>>阅读原文<<