spark的容错，检查点，共享变量的概念浓缩总结

1、容错java Spark选择记录更新的方式。可是，若是更新粒度太细太多，那么记录更新成本也不低。所以，RDD只支持粗粒度转换，即只记录单个块上执行的单个操做，而后将建立RDD的一系列变换序列（每一个RDD都包含了他是如何由其余RDD变换过来的以及如何重建某一块数据的信息。所以RDD的容错机制又称“血统(Lineage)”容错）记录下来，以便恢复丢失的分区。缓存 2、Checkpointapp

>>阅读原文<<