Spark checkpoint 功能源码详解

环境： spark 2.3.3 scala 2.11.8 Java 1.8.0_141   为什么要checkpoint？ checkpoint和persist功能相似，都是为了更高效的复用RDD，但是Checkpoint可以进行容错，即driver失败后，可以基于checkpoint 数据进行重新启动。   checkpoint推荐使用方式：一般在进行checkpoint方法调用前都要进行per

>>阅读原文<<