spark的容错,检查点,共享变量的概念浓缩总结

1、容错java Spark选择记录更新的方式。可是,若是更新粒度太细太多,那么记录更新成本也不低。所以,RDD只支持粗粒度转换,即只记录单个块上执行的单个操做,而后将建立RDD的一系列变换序列(每一个RDD都包含了他是如何由其余RDD变换过来的以及如何重建某一块数据的信息。所以RDD的容错机制又称“血统(Lineage)”容错)记录下来,以便恢复丢失的分区。缓存 2、Checkpointapp
相关文章
相关标签/搜索