余老师带你学习大数据框架全栈第十二章Flume第二节安装部署

flume安装

2.1 安装地址

下载地址：
http://archive.apache.org/dist/flume/
安装包地址：
http://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

2.2 安装部署

一、操作步骤
1.创建RedisC1,C2,C3三台机器
在这里插入图片描述
2.进入C1，进行三台机器的认证
切换到root用户。
命令：sudo /bin/bash

命令：cd /hadoop/

运行initHost.sh脚本，进行三台机器的认证：

命令：./initHosts.sh

确保我们的三台机器是running状态。
在这里插入图片描述
3. 在app11中操作，切换到hadoop用户，密码Yhf_1018
命令：su – hadoop 注：输入的密码是不显示出来的。

4.进入hadoop根目录，并查看目录下的文件。
命令：cd /hadoop/

5.新建Flume文件夹
命令：mkdir Flume
6.将 apache-flume-1.9.0-bin.tar.gz 上传到/hadoop/Flume目录下
命令：cd Flume

wget http://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
在这里插入图片描述
7.解压
命令：tar -zxf apache-flume-1.9.0-bin.tar.gz

8.设置环境变量
命令：vi ~/.bashrc
运行效果：

8.设置FLUME_HOME目录和PATH目录，在环境变量中加入

export FLUME_HOME=/hadoop/Flume/apache-flume-1.9.0-bin

export PATH=${FLUME_HOME}/bin:$PATH

输入a或者i进行编辑
在这里插入图片描述
ESC退出编辑，:wq 保存退出
9.需要使用source命令让刚刚的修改过的PATH执行。
命令：source ~/.bashrc
本机的设置完成。需要将本机的设置拷贝到其他机器上。

其他集群的设置

1.首先免密登录到app-12上，进入hadoop目录下创建Flume文件
命令：ssh hadoop@app-12 "cd /hadoop && mkdir Flume"
在这里插入图片描述
2.所有的集群目录都是一样，需要将整个Flume安装包拷贝到其他集群的机器上。
命令：scp -r -q apache-flume-1.9.0-bin hadoop@app-12:/hadoop/Flume
注：-r是表示拷贝整个目录。 -q 是静默拷贝。要返回flume所在的上一级目录。
在这里插入图片描述
3.登录app-12, 查看是否拷贝成功
命令：ssh hadoop@app-12

退出app-12,命令：exit
4.将环境变量拷贝到app-12上，进行覆盖拷贝。
命令：scp ~/.bashrc hadoop@app-12:~/

命令：ssh hadoop@app-12 "source ~/.bashrc"
app-12完成。同理，在app-13上执行。
5.重复步骤1、2配置app-13
命令：ssh hadoop@app-13 "cd /hadoop && mkdir Flume"
在这里插入图片描述
scp -r -q apache-flume-1.9.0-bin hadoop@app-13:/hadoop/Flume

登录app-13, 查看是否拷贝成功
命令：ssh hadoop@app-13

退出app-13,命令：exit
将环境变量拷贝到app-13上，进行覆盖拷贝。
命令：scp ~/.bashrc hadoop@app-13:~/

命令：ssh hadoop@app-13 "source ~/.bashrc"

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
在这里插入图片描述