【总结】Spark Streaming和Kafka整合保证数据零丢失

当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件： 　　1、输入的数据来自可靠的数据源和可靠的接收器； 　　2、应用程序的metadata被application的driver持久化了(checkpointed ); 　　3、启用了WAL特性(Write ahead log)。 　

>>阅读原文<<