每个成功人士的背后，一定曾经作出过勇敢而又孤独的决定。java
放弃不难，但坚持很酷~git
kafka_2.11-1.1.0github
1、前言
最近有一个需求，要查询某一时间戳对应的offset值，因而就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --time <timestamp> ，可是我在测试的时候，发现有的时间戳会获取不到offset，是空。可是明明指定的时间戳有上报数据，确定有对应的 offset 的。因而就谷歌，找到了这篇帖子：spring
https://stackoverflow.com/questions/30030393/strange-behavior-of-kafka-tool-kafka-tools-getoffsetshellshell
其中已经有大佬给出了答案，可是我仍是不求甚解，但起码知道了和 kafka log segments 有关系。api
通过研究实践，明白了其中原因，因此就有了这篇文章。微信
2、解惑
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list message-1:9092 -topic test --time 后面的参数能够是 -一、-二、时间戳，其中 -1 会输出最新的 offset ；-2 会输出未过时最小的 offset ；时间戳这里具备迷惑性，它不能根据时间戳获取到精准匹配的 offset 。框架
Kafka 将数据存储在 “log segments” 里面，log segments 文件的大小受 log.segment.bytes 影响，默认为 1073741824 字节，也就是 1G 。当数据文件累积到 log.segment.bytes 的值之后，就会建立出新的日志文件，文件名称以分段时的那个 offset 命名，以下图所示：函数
每个 xxx.log 文件都算做一个 segment，kafka.tools.GetOffsetShell --time 参数匹配的是 xxx.log 文件自己最后的修改时间，而不是偏移量自己的时间戳。spring-boot
根据上面图片，举几个例子：
-
当 time 为 2020-09-16 11:59:20 时，获取的 offset 值为空。
-
当 time 大于等于 2020-09-16 12:00:20 而且 time 小于 2020-09-16 14:09:24 时，获取的 offset 值为 0，匹配的是 xxx.log 文件名称的那个 offset 。
-
当 time 大于等于 2020-09-16 14:09:24 时，获取的 offset 值为 1049942，匹配的是 xxx.log 文件名称的那个 offset 。
-
当 time 远大于 2020-09-16 14:09:24 时，获取的 offset 值为最新的 offset 值。
根据以上实践结果得知，一组时间戳均对应着同一个 offset 。因此这个命令 --time <timestamp> 只能匹配个大概的 offset 而已，没法精确。若是精确，能够调用 java api 来封装成接口或工具使用。
3、调用 kafka java api 获取时间戳对应的 offset，并封装成工具脚本
很纳闷，为何官方不提供获取时间戳对应的精准的 offset 呢？既然官网没有，那我就用 java api 封装一个工具脚本吧。
先展现下效果：
./bin/getoffsetts --broker-list message-1:9092 --topic hiacloud-ts-v3 --time 1600222353353
脚本选项：
其实上面的 getoffsetts 脚本是执行的一个 java 类，java main() 方法。利用了 JCommander 。JCommander 是一个用于解析命令行参数的 Java 框架，利用 @Parameter 来接收命令参数。
在 main() 函数里面，建立 JCommander 对象，将 args 加载进去，
而后使用 consumer.offsetsForTimes(Map timestampsToSearch) 来经过时间戳获取各分区对应的 offset 。
具体的代码已经上传到了
https://github.com/841809077/spring-boot-model/blob/master/src/main/java/com/example/main/OffsetTimestamp.java
能够直接粘贴到本身的项目中使用这个类查询 offset 。
这个项目算是一个快速可复用项目，支持自定义打包、统一异常处理等，感兴趣的能够下载下来看看。
👆 👆 👆
往期推荐
扫一扫，咱们的故事就开始了。
若是这篇文章对你有所启发，点赞、转发都是一种支持！
让我知道你在看
本文分享自微信公众号 - 大数据实战演练（gh_f942bfc92d26）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。