Spark Streaming的容错和数据无丢失机制（WAL机制）

实时的流式处理系统必须是7*24运行的，同时可以从各种各样的系统错误中恢复，在设计之处，Spark Streaing就支持driver和worker节点的错误恢复。然后，在使用某些数据源的时候，错误恢复时输入数据可能会丢失。在spark 1.2中，加入write ahead logs（日志）这个初步方案用来改进恢复机制，保证数据的无丢失。 背景 spark和rdd的设计保证了集群中worker节点

>>阅读原文<<