Spark的checkpoint机制简析

Spark中的checkpoint的机制，用在机器学习领域中较多，由于你要写不少的rdd，若是你在写rdd的过程当中的部分rdd丢失了话，固然能够经过血统机制去恢复，可是这样十分消耗资源，因此通常会引入checkpoint机制，把写的那一堆的rdd进行保存到hdfs上面，这个保存的是这个rdd的结果，并非最后你执行action的结果。当执行action的时候会发现有两个进程在执行，由于一个是计算任

>>阅读原文<<