Flume实现扇出流动

flume扇出流动的过程

实现过程

首先准备三台机器:hadoop01,hadoop02,hadoop03 (我在三台机器上已配置好hosts)

然后每台机器上配置Agent

扫描二维码关注公众号,回复: 7252189 查看本文章

配置hadoop01

配置hadoop02和hadoop03一样

配置完了后,首先启动hadoop02和hadoop03上的Agent

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

我已经配置好了flume的环境变量,所以直接调用flume-ng命令,如下参数说明

-n         agent名称

-c         flume配置文件的的路径

-f          我们创建的fan-out.conf(配置Agent)文件的路径

两台机器执行命令后控制台都回看到如下信息

 

然后在hadoop01机器上也启动flume

flume-ng agent -n a1 -c /usr/flume/conf -f ./fan-out.conf -Dflume.root.logger=INFO,console

成功连接会显示如下信息

 

 都启动成功了,可以打开另一个hadoop01客户端执行:nc hadoop01 44444 可以发送事件

 

打开hadoop02和hadoop03可以看到已经收到事件

 

猜你喜欢

转载自www.cnblogs.com/jumpkin1122/p/11503662.html