Flume自定义拦截器,重启后不能继续处理的问题

1、背景 flume版本:1.8,有一个自定义拦截器Interceptor把json数据,转化为|分隔的数据,便于hive加载。 使用File Channel,重启后,不能继续处理数据。 2、原因分析 查看日志,一直报json转换异常,转换的内容是 |分隔的,猜测内容应该是经过拦截器处理以后的。 进一步分析,因为使用了File Channel,重启后,会从检查点Checkpoint取出数据继续处理
相关文章
相关标签/搜索