Spark性能调优之广播变量

广播变量概述及其优势 广播变量(groadcast varible)为只读变量，它有运行SparkContext的driver程序创建后发送给参与计算的节点。对那些需要让工作节点高效地访问相同数据的应用场景，比如机器学习。我们可以在SparkContext上调用broadcast方法创建广播变量： 广播变量也可以被非driver程序所在节点(即worker)访问，访问方法就是调用该变量的value

>>阅读原文<<