spark streaming + kafka0.10以及kafka的offset管理

为了记录在spark-streaming里面消费的数据的位置，咱们须要保存offset来控制数据的读取位置，offset能够保存在多个地方，java 一、将offset保存在外部系统（我用的是redis）redis 二、将offset存储在Hbasebootstrap 三、将offset存储在Zookeeper测试 四、当历史数据没有用的时候 也能够无论理offsetspa --参考 https:

>>阅读原文<<