Spark中的checkpoint做用与用法

checkpoint的意思就是创建检查点,相似于快照,例如在spark计算里面 计算流程DAG特别长,服务器须要将整个DAG计算完成得出结果,可是若是在这很长的计算流程中忽然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头至尾计算一遍,这样子就很费性能,固然咱们能够将中间的计算结果经过cache或者persist放到内存或者磁盘中,可是这样也不能保证数据彻底不会丢失,存储的这个内存出问题了或者磁盘坏了,也会致使spark从头再根据RDD计算一遍,因此就有了checkpoint,其中checkpoint的做用就是将DAG中比较重要的中间数据作一个检查点将结果存储到一个高可用的地方(一般这个地方就是HDFS里面)
通常咱们先进行cache而后作checkpoint就会只走一次流程,checkpoint的时候就会从刚cache到内存中取数据写入hdfs中
其中做者也说明了,在checkpoint的时候强烈建议先进行cache,而且当你checkpoint执行成功了,那么前面全部的RDD依赖都会被销毁