spark 机制原理自问自答

本文主要收录spark学习和工做中思考的问题。web 一、当Spark task failed，什么状况下task重计算，什么状况下stage重计算？ 答：若是task失败是由于shuffle output files lost，则DAGScheduler会对stage重提交计算；若是不是由于shuffle file lost，则选择resubmit task。这是由于shuffle output

>>阅读原文<<