如何保障流式处理的数据一致性

背景 相对于传统的Hadoop这样的batch分析平台，流式分析的优点就是实时性， 即可以在秒级别延迟上得到分析结果 。  当然缺点是, 很难保证强一致性，即Exactly-Once语义 （在海量数据的前提下，为了保障吞吐量，无法使用类似事务的强一致性的方案）。  一般流式分析平台都会promise较弱的一致性，即Least-Once语义，保证数据不丢但允许数据重复。 但这只是在正常的情况下，当流

>>阅读原文<<