Spark系列--SparkCore(七)广播变量和累加器

1、广播变量 　　一般状况下，当一个RDD的不少操做都须要使用driver中定义的变量时，每次操做，driver都要把变量发送给worker节点一次，若是这个变量中的数据很大的话，会产生很高的传输负载，致使执行效率下降。python 　　使用广播变量可使程序高效地将一个很大的只读数据发送给多个worker节点，并且对每一个worker节点只须要传输一次，每次操做时executor能够直接获取本地保

>>阅读原文<<