98、Spark Streaming之容错机制以及事务语义详解

Spark Streaming容错机制 要理解Spark Streaming提供的容错机制,先回忆一下Spark RDD的基础容错语义 RDD的基本容错原理.png RDD,Ressilient Distributed Dataset,是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的计算操作的血缘关系,(val lines = sc.textFile(hdfs file
相关文章
相关标签/搜索