从零开始 Spark 性能调优

0、背景 集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。 看了下任务的历史运行情况，平均时间 3h 左右，而且极其不稳定，偶尔还会报错： 1、优化思路 任务的运行时间跟什么有关? (1)数据源大小差异 在有限的计算下，job的运行时长和数据量大小正相关，在本例中，数据量大小基本稳定，可以排除是日志量级波动导致的问题： (2)代码本身逻辑缺

>>阅读原文<<