Flume - Installation

First, install

1 Unzip

[root@hadoop01 ~]# tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/

2 Modify the name

[root@hadoop01 local]# mv apache-flume-1.9.0-bin/ flume-1.9.0/

3 modify the configuration

[root@hadoop01 flume-1.9.0]# cd conf/
[root@hadoop01 conf]# cd flume-env.sh.template flume-env.sh

[root@hadoop01 conf]# vi flume-env.sh
添加内容如下：
export JAVA_HOME=/usr/local/jdk1.8.0_221

4 Add the environment variable

[root@hadoop01 conf]# vi /etc/profile
添加内容如下：
export FLUMN_HOME=/usr/local/flume-1.9.0
export PATH=$PATH:$FLUMN_HOME/bin

5 Test

1、创建myjob目录
[root@hadoop01 flume-1.9.0]# mkdir -p myjob

2、创建job文件
[root@hadoop01 flume-1.9.0]# cd myjob
[root@hadoop01 myjob]# vi first.job
文件内容如下：
#定义source|channel|sink组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#配置r1的属性
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/f_log

#配置sinks的属性
a1.sinks.k1.type = logger

#配置channel的属性
a1.channels.c1.type = memory
a1.channels.c1.capacity = 10000
a1.channels.c1.transactionCapacity = 10000

#绑定source与sink于channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、新开窗口2创建f_log文件
[root@hadoop01 ~]# vi /root/f_log
编辑内容如下：
Hello World!

4、返回窗口1运行启动语句
[root@hadoop01 flume-1.9.0]# flume-ng agent -c conf/  -f myjob/first.job -n a1 -Dflume.root.logger=INFO,console

5、返回窗口2向f_log文件追加内容
[root@hadoop01 ~]# echo "Love You" >> f_log 

6、返回窗口1查看打印的日志数据内容