Spark Streaming 容错机制分析

SparkStreaming实时流处理系统需要长时间接受并处理数据，对于SparkStreaming的容错性主要通过以下三种方式：   第一、利用Spark自身的容错设计、存储级别和RDD抽象设计能够处理集群中任何worker节点的故障。 第二、由于Spark运行的多种模式，其Driver端可能运行在Master节点或者在集群中的任意节点，让Driver端具备容错能力是一个很大挑战，但是由于Spa

>>阅读原文<<