spark checkpoint

checkpoint 前提条件 迭代计算，要求保证数据安全 对速度要求不高（跟cache到内存进行对比） 将中间结果保存到hdfs 步骤： 设置checkpoint目录（分布式文件系统的目录hdfs目录）sc.setCheckpointDir(“hdfs://s201:9000/ck2019”) 经过复杂进行，得到中间结果 将中间结果checkpoint到指定的hdfs目录 后续的计算，就可以使用

>>阅读原文<<