Spark推测执行解决SparkStreaming任务task卡死问题

Spark推测执行解决SparkStreaming任务task卡死问题 景：测试环境运行一个SparkStreaming任务，yarn-cluster模式，duration为5分钟一个批次，每一个批次平均2000w条records，并行度为60缓存 资源配置为：服务器 ${SPARK_HOME}/bin/spark-submit --name ${jobname} --driver-cores 3

>>阅读原文<<