spark性能优化----缓存清除

spark是一款优秀的框架，计算性能至关优异，已经发展成大数据主流计算引擎，在spark开发过程当中有不少优化的点。其中去除重复计算是很是重要的。通常操做调用cache/persist,来缓存中间结果，避免重复计算。其中cache是persist的一个特列（cache至关于persist()）。persist拥如下几个级别的缓存：程序员 NONE 默认配置（不缓存） DISK_ONLY 数据缓存到

>>阅读原文<<