Spark Streaming + Kafka 的 offset 管理方法

常见offset管理方法介绍 1 checkpoints Spark Streaming的checkpoints是最基本的存储状态信息的方式，一般是保存在HDFS中。但是最大的问题是如果streaming程序升级的话，checkpoints的数据无法使用，所以几乎没人使用。 2 Zookeeper Spark Streaming任务在启动时会去Zookeeper中读取每个分区的offsets。如果

>>阅读原文<<