flume搭建

关于flume,我个人的理解是这样的,flume是一款不错的日志监控工具,可以分布式部署,flume的代理Agent由source(数据采集器),channel(缓存消息队列),sink(接收器)构成。所以,flume的核心角色是Agent,通过Agent可以从其他服务中采集数据,并通过内部event流的形式传输到sink,并根据需求最终向下一个Agent传输或者进行集中式存储。Flume日志采集系统分为简单结构和复杂结构。

接下来就是搭建过程。所需材料:flume安装包,hadoop集群,telnet连接工具,conf文件。获取地址:
链接:https://pan.baidu.com/s/1TdEQbWVDOlOAAYqPGlRQ-w
提取码:csdn
复制这段内容后打开百度网盘手机App,操作更方便哦

首先,我们解压flume包,命令:tar -zxvf apache-flume-1.9.0-bin.tar.gz然后,再重命名为flume,命令:mv apache-flume-1.9.0-bin flume,结果如下图:
在这里插入图片描述
配置flume的环境变量,命令:vi /etc/profile,结果:
在这里插入图片描述
然后,我们去flume的bin目录下面新建一个目录conf,用于存储conf执行文件,如下:
在这里插入图片描述
将netcat-logger.conf文件放入conf目录。

之后,回到flume的bin目录下,开启flume,命令:flume-ng agent --conf conf/ --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console,结果如下图:
在这里插入图片描述
开启flume后,发现它正在监听44444端口的日志信息,将它挂在那里,不要关闭。

然后,我们安装telnet远程工具,过程如下:
第一步,先进入root权限,再进入telnet的安装包目录,如下图:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
执行命令:rpm -ivh xinetd-2.3.15-14.el7.x86_64.rpm
执行命令:rpm -ivh telnet-0.17-65.el7_8.x86_64.rpm
执行命令:rpm -ivh telnet-server-0.17-65.el7_8.x86_64.rpm
安装telnet,安装完成后,开启telnet服务。命令:systemctl start xinetd.service
最后,检测是否安装成功,如下图:
在这里插入图片描述
接着,我们用telnet连接44444端口,如下:
在这里插入图片描述
给44444端口发送消息,如下图:
在这里插入图片描述
在flume中监控信息显示如下:
在这里插入图片描述
至此,在一台机器上的flume配置完成了。
最后,感谢大家前来观看鄙人的文章,文中或有诸多不妥之处,还望指出和海涵。

猜你喜欢

转载自blog.csdn.net/weixin_43408020/article/details/110413426
今日推荐