spark streaming的容错机制

Worker节点 从Hdfs中读取数据 Executor会将自身任务执行的元数据信息汇报给Driver,Driver将其记录到日志中。当一个Executor挂掉后，Driver可以根据该日志重启一个Executor,又因为数据依然存放在Hdfs中。所以容错OK。 从kafka，flume这种数据源 它的问题在于Driver重启Executor后，还需要原来的数据。Spark Streaming引入

>>阅读原文<<