Linux安装配置Flume

概述 

Apache Flume是一个分布式,可靠且可用的系统,用于高效地收集,汇总和将来自多个不同源的大量日志数据移动到集中式数据存储。
Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的,因此Flume可用于传输大量事件数据,包括但不限于网络流量数据,社交媒体生成的数据,电子邮件消息以及几乎任何可能的数据源。

Apache Flume是Apache Software Foundation的顶级项目,目前有两个发布代码行,版本0.9.x和1.x.

系统要求

1.Java运行时环境 - 一定要匹配(譬如flume1.8.0,使用jdk 1.8或更高版本)

2.内存 - 源,通道或接收器使用的配置具有足够的内存

3.磁盘空间 - 通道或接收器使用的配置有足够的磁盘空间

4.目录权限 - 代理使用的目录的读/写权限

安装配置

单节点Flume部署。该配置允许用户生成事件并随后将其记录到控制台。

1.官网下载自己想要的flume版本,上传至linux并解压到自己想要安装的路径下

2.配置环境变量:vim /etc/profile

 

3.立即生效 source /etc/profile

找到自己的安装路径:

例如/opt/apache-flume-1.8.0-bin/conf,在此路径下vim example.conf,再copy以下配置

#example.conf:单节点Flume配置

#命名此代理上的组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#描述/配置源
a1.sources.r1.type=netcat
a1。 sources.r1.bind=localhost
a1.sources.r1.port=44444

#描述sink
a1.sinks.k1.type=logger

#使用缓冲内存中事件的通道
a1.channels.c1.type=memory
a1.channels .c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#将信源和信宿绑定到信道
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

该配置定义了一个名为a1的代理。a1有一个侦听端口44444上的数据的源,一个缓存内存中事件数据的通道,以及一个将事件数据记录到控制台的接收器。配置文件命名各种组件,然后描述它们的类型和配置参数。给定的配置文件可能会定义多个命名代理; 当给定的Flume进程启动时,会传递一个标志,告诉它哪个指定的代理要显示。

启动flume,在目录/opt/ apache-flume-1.6.0-bin/bin下,运行flume

flume-ng agent -n a1 -f /conf/example.conf -Dflume.root.logger=INFO,console


 

 
参数说明
-n 指定agent名称
-c 指定配置文件目录
-f 指定配置文件
-Dflume.root.logger=DEBUG,console 设置日志等级

打开另一个连接终端,远程到44444端口,然后发送flume事件进行测试

telnet localhost 44444



猜你喜欢

转载自www.cnblogs.com/Soy-technology/p/11645920.html
今日推荐