Flume拦截器、监控器

一、拦截器

1、拦截器:拦截器主要作用在source和channel之间,用于给event设置header消息头,如果没有设置拦截器,则event中只有message。

常见的拦截器有:

Timestamp Interceptor 时间拦截器:将时间戳插入到header中。

Host Interceptor 主机拦截器:将服务器的ip地址或者主机名插入到header中。

Regex Filtering Interceptor 正则过滤拦截器:过滤掉不需要的日志。

https://blog.csdn.net/jinywum/article/details/82598947

2、自定义拦截器:主要目的就是给日志进行分类,自定义拦截器为每个event设置header,header里标志着日志的类型。当数据传输到kafka就可以根据header知道这个日志属于哪个类型。

自定义拦截器操作:

a、在项目pom文件中引入flume依赖

b、找到现有的TimestampInterceptor类,copy代码到自己的自定义类里,按照需求进行修改。

c、将项目打成jar包,修改名字为app_logs_flume.jar,然后放到/opt/module/flume/lib目录下。

d、在flume配置文件指定拦截器类型。

a1.sources.r1.interceptors = i1 

a1.sources.r1.interceptors.i1.type = 自定义类全类名

https://blog.csdn.net/u012443641/article/details/80757229

二、监控器

1、监控器

 监控器可以看到:

source尝试写入channel中的event数量,成功写入且提交的event数量;

sink尝试从channel中拉取的event数量,成功读取的事件数量;

channel相关信息,例如:启动时间,停止时间,目前的event总数,容量,占用百分比

猜你喜欢

转载自www.cnblogs.com/guoyu1/p/12021140.html