Spark-RDD-04 checkpoint容错机制

咱们了解到合理地将RDD持久化/缓存，不只直接避免了RDD的重复计算致使的资原浪费和占用，还提高了RDD的容错性，缓存 并且间接提高了分析任务的完成效率，那么为何又会须要基于checkpoint的容错机制，在什么状况下须要设置checkpoint呢?函数 对RDD进行ceckpoin操做，会将RDD直接存储到磁盘上，而不是内存，从而实现真正的数据持久化。内存 checkpoint实际上对RDD l

>>阅读原文<<