Flume自定义拦截器,重启后不能继续处理的问题

1、背景

flume版本:1.8,有一个自定义拦截器Interceptor把json数据,转化为|分隔的数据,便于hive加载。

使用File Channel,重启后,不能继续处理数据。

2、原因分析

查看日志,一直报json转换异常,转换的内容是 |分隔的,猜测内容应该是经过拦截器处理以后的。

进一步分析,因为使用了File Channel,重启后,会从检查点Checkpoint取出数据继续处理,检查点Checkpoint已经是|分隔的了。

自定义拦截器Interceptor(把json数据,转化为|分隔的数据)继续把|分隔的数据转化为json就会抛出异常,flume检查到异常,会重试,然后就一直循环在处理这条数据,死循环了。


3、解决方案

自定义拦截器Interceptor 增加判断,如果多余3个|,就不执行json转换,当作正常数据

4、思考

a.错误日志监控很重要

b.flume在这种情况下,能告警就更好了

c.扩展功能,最好看看文档或最佳实践


猜你喜欢

转载自blog.csdn.net/javalover123888/article/details/80376611