flume采集文件到HDFS
1) 安装配置flume
导入解压 解压命令 tar -zxvf ***********
配置文件路径 cd apps/flume-1.6.0/dir-hdfs.conf(配置静态)
cd apps/flume-1.6.0/tail-hdfs.conf(实时采集数据到HDFS
tail-hdfs.conf 配置文件
启动命令 ./flume-ng agent -C ../conf/ -f ../tail-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console
位置：cd apps/flume-1.6.0/bin
注意：-C ../conf/ ： 配置信息
-f ../dir-hdfs.conf ：配置文件的位置
-n ag1 : agent的名字
-Dflume.root.logger=INFO.console：打印到控制台
2) 安裝配置Nginx
安裝make
yum -y install gcc automake autoconf libtool make
安裝 g++
yum install gcc gcc-c++
安裝openssl
yum -y install openssl openssl-devel
安裝pcre库
cd/apps
tar zxvf zlib-1.2.11.tar.gz
cd zlib-1.2.11
./configure
make
make install
安装nginx
cd /apps
tar -zxvf nginx-1.1.10.tar.gz
cd nginx-1.1.10
./configure
make
make install
启动nginx
cd/usr/loca/nginx/sbin
./nginx
在浏览器测试
Nginx成功启动
Ngin配置文件https://blog.csdn.net/lucasmaluping/article/details/102459604
开始准备(记得先启动hdfs,这忘了)
Start-all.sh
打好jar包，上传到虚拟机
运行jar包
运行指令
启动flume和nginx
启动nginx
启动flume
启动指令./flume-ng agent -C ../conf/ -f ../tail-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console
注意：报错看报错信息，可能会有一个safe node问题
hadoop dfsadmin -safemode leave输入这个解决、
***tail -f 文件夹名
动态监测文件写入信息，查看log文件
在浏览器查看结果
在nginx log文件下（文件名在flume配置文件在更改）
信息已被采集上传到hdfs
