Spark 做业执行经常使用参数、经常使用优化参数

1. spark重试次数 失败重试次数，默认重试4次，前期任务调试阶段，重试次数最好设置为1，能够较快获得执行结果；后期业务上线，也使用默认参数web --conf spark.yarn.maxAppAttempts=1 2. 开启Driver多线程机制 .set("spark.driver.allowMultipleContexts", "true") 3.开启自动调节机制,根据当前的处理速度自

>>阅读原文<<