【十六】SparkSQL经常使用性能优化

1、代码优化 1.在数据统计的时候选择高性能算子。java 例如Dataframe使用foreachPartitions将数据写入数据库，不要每一个record都去拿一次数据库链接。一般写法是每一个partition拿一次数据库链接。sql /** * 将统计结果写入MySQL中 * 代码优化： * 在进行数据库操做的时候，不要每一个record都去

>>阅读原文<<