1.理论基础
# 列出agent的 sources, sinks and channels
<Agent>.sources = <Source>
<Agent>.sinks = <Sink>
<Agent>.channels = <Channel1> <Channel2>
# 设置source的channel
<Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...
# 设置sink的channel
<Agent>.sinks.<Sink>.channel = <Channel1>需要注意的是：
- 一个source可以对接多个channel
- 一个sink只能对接一个channel
实现一个数据流的需求关键点就在于source和sink类型的选择
—> source和link的类型选择可以查看上一篇文章：Flume 理论
更详细的可查看官方文档
source,channel,sink 常用类型快速查看
| Source类型 | 说明 |
|---|---|
| Avro | 支持avro 协议 |
| Spooling | 监听本地文件夹，把新增的文件采集到flume |
| netcat | 从网络端口接受文本数据（多用于测试调试） |
| kafka | 用于从kafka中读取数据 |
| —————————— | ———————————————————————— |
| Channel类型 | 说明 |
| Memory | Event 数据存储在内存中 |
| File | Event数据存储在磁盘文件中 |
| —————————— | ———————————————————————— |
| Sink 类型 | 说明 |
| logger | 把数据输出成logger日志(测试调试) |
| hdfs | 把数据写入hdfs |
| avro | 发送到此接收器的flume event将转化为avro event 并发送至配置的主机名：端口号 |
| kafka | 将数据发送至kafka |
2. 示例一
需求：监控master节点8888端口的写入数据并输出到logger中。
分析：
- Source：数据流入，通过监控给定端口获取流数据，因此Source可选类型netcat
- Sink：数据流出，需求要求输出到logger中，因此可选logger类型
另外还需要安装两个工具：nc,telnet
centerOS 可以分别执行：yum install nc 和yum install telnet 进行安装。
步骤：
- 1.新建任意目录，目录下新建文件：nc_to_logger.conf
- 2.配置文件代码如下
# 列出agent的source,channel,sink
a1.sources = s1
a1.channels = c1
a1.sinks = k1
#---------------------------
# 设置source的属性
a1.sources.s1.type = netcat
a1.sources.s1.bind = master
a1.sources.s1.port = 8888
# 设置channel的属性
a1.channels.c1.type = memory
# 设置sinks的type
a1.sinks.k1.type = logger
#-----------------------------
# 设置source的channel
a1.sources.s1.channels = c1
# 设置sink的channel
a1.sinks.k1.channel = c1- 3.运行
flume-ng agent -c conf -f nc_to_logger.conf -n a1 -Dflume.root.logger=INFO,console- 测试
前期准备：所有节点都配置好host，两台测试节点都需安装nc,telnet
另一台机器上命令行输入：telnet master 8888
随意输入字符，换行，看监控的master机器上是否有logger输出
结果如下:
slave1 节点：
master节点：
Event是Flume数据流传输中的基本数据单元，Source组件采集到数据将其包装成Event，推入Channel,Channel 又将Event 传输到Sink，最后由Sink进行输出。
3.实例二
需求：监控目录/usr/local/test/myFlumeTest/SpoolingDir,当有新增文件时将其写入hdfs中。
分析：
- Source：数据流入，通过监控指定目录获取数据，因此Source可选类型spooling
- Sink：数据流出，需求要求输出到hdfs中，因此选择hdfs类型
步骤：
- 1.写配置文件spooling_to_hdfs.conf,代码如下
```
# 列出agent的source,channel,sink
a1.sources = s1
a1.channels = c1
a1.sinks = k1
#---------------------------
# 设置source的属性
a1.sources.s1.type = spooldir
a1.sources.s1.spoolDir = /usr/local/test/myFlumeTest/SpoolingDir
# 设置channel的属性
a1.channels.c1.type = memory
# 设置sinks的type
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /spoolingDir
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
#-----------------------------
# 设置source的channel
a1.sources.s1.channels = c1
# 设置sink的channel
a1.sinks.k1.channel = c1
```
- 2.运行
flume-ng agent -c conf -f spooling_to_hdfs.conf -n a1 -Dflume.root.logger=INFO,console
- 3.测试
- 1.模拟文件新增：在其他目录新建文件，随意写入内容，复制到监控的目录下。
- 2.查看hdfs文件目录，查看文件是否写入
可以看到hdfs上新增了文件:/spoolingDir/FlumeData.1530794689076,打印查看结果如下
更多示例可自行进行测试：Source类型，Sink类型两两组合。
关于各种类型的参数设置可参考官方文档中的说明：
如：
Spooling Directory Source相关属性：
学会看文档也是一项很重要的技能啊：）