Spark算子使用外部变量的优化

第1、使用FastUtil改写外部变量，FastUtil拓展了java的标准集合，它能够提供更小的内存占用以及更快的存取速度。FastUtil的每一种集合类型，都实现了java的对应接口，能够直接用来替换已有代码中的对应集合。 第2、使用BroadCast广播变量到Executor，使每个Executor有一份数据副本，executor内部task共享这个副本（未广播的变量在每一个task中存在一

>>阅读原文<<