Spark Streaming重复消费,多次输出问题剖析与解决方案

1，Exactly once 事务 什么事Exactly once 事务？ 数据仅处理一次并且仅输出一次，这样才是完整的事务处理。 Spark在运行出错时不能保证输出也是事务级别的。在Task执行一半的时候出错了，虽然在语义上做了事务处理，数据仅被处理一次，但是如果是输出到数据库中，那有空能将结果多次保存到数据库中。Spark在任务失败时会进行重试，这样会导致结果多次保存到数据库中。 如下图，当运

>>阅读原文<<