checkpoint的正确使用方式及其与persist的区别

1、正确使用方式 在执行checkpoint以前先对RDD进行Persist：应为checkpoint操做会启动一个job，spark默认会从新计算执行checkpoint操做的RDD，也就是说，须要从源头开始再计算一次，明显的重复计算。因此先persist后，就不用重复计算了。 2、与persist的区别 checkpoint是写磁盘的，persist也能够经过StorageLevel.DISK

>>阅读原文<<