Flume Interceptor 拦截器

 近期因为业务需要,解决数据漂移问题 (数据漂移:flume从kafka拉取日志到hdfs,因为使用得拦截器timestamp,就是使用系统时间作为日志落地得时间,因为kafka数据乱序问题,所以有些昨天得数据会被打上今天得系统时间;举个例子:日志内得时间戳是2019-5-20 23:59:59,但是却存在了2019-5-21得文件夹下) 所以为了解决这个问题,就要提取日志中得时间戳,作文存储文件
相关文章
相关标签/搜索