余老师带你学习大数据框架全栈第十二章Flume第四节简单案例之Flume实时监控单个追加文件

实时监控单个追加文件

入门案例2

实验目的：实时监控 Hive 日志，并上传到 HDFS 中
实验分析:
在这里插入图片描述

实验步骤：
一、实验前准备
1.新建FlumeSqoopC1,C2,C3
在这里插入图片描述

进入C1,进行三台机器认证
切换到root用户。
命令：sudo /bin/bash
在这里插入图片描述
进入hadoop目录下并查看有哪些文件夹。
命令：cd /hadoop/
运行initHost.sh脚本，进行三台机器的认证：./initHosts.sh
确保我们的三台机器是running状态。
命令：./initHosts.sh

1切换到hadoop用户，（密码Yhf_1018 ）
命令：su – hadoop
在这里插入图片描述
2切换到hadoop根目录下
命令：cd /hadoop/

3启动startAll.sh
命令：./startAll.sh

这个脚本里包含这三台机器所有的启动命令
进入C2
4.切换到/hadoop/Flume/apache-flume-1.9.0-bin下
命令：cd /hadoop/Flume/apache-flume-1.9.0-bin
在这里插入图片描述 5.新建job文件夹
命令：mkdir job

二、实验
1.创建 flume-file-hdfs.conf 文件（切换到job目录下）
命令： touch flume-file-hdfs.conf

2.编辑 flume-file-hdfs.conf 文件
命令：

vi flume-file-hdfs.conf

在这里插入图片描述
添加如下内容

a2.sources = r2
a2.sinks = k2
a2.channels = c2

a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /hadoop/Hive/apache-hive-3.1.1-bin/tmp/hive.log
a2.sources.r2.shell = /bin/bash -c





# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://dmcluster/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs- 

#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour

#是否使用本地时间戳，默认为false
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 100
#设置文件类型，可支持压缩                                                                                                                                                                                                                                                                                                                          
a2.sinks.k2.hdfs.fileType = DataStream

#多久生成一个新的文件滚动的是文件（区别上面）
a2.sinks.k2.hdfs.rollInterval = 30
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0					
# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100

# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2

在这里插入图片描述