Flume集群搭建（二）

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/RivenDong/article/details/102648279

1. 前言

在Flume基本原理与架构中较为系统的讲解了Flume的作用、组件、架构等知识，本篇文章将讲解Flume集群的搭建。Flume框架在jar包上依赖Hadoop和Zookeeper，并不要求Flume启动时必须启动Hadoop和Zookeeper服务。

2. 下载解压

1. Flume的下载地址为：Flume-1.6.0
2. 下载完毕后，上传安装包到~/software目录下（以slave001节点为例）
3. 解压apache-flume-1.6.0-bin.tar.gz 安装包

3. 安装配置

1. 修改配置文件

cd conf
cp flume-env.sh.template flume-env.sh
vi flume-env.sh

添加JDK路径：

export JAVA_HOME=/home/hadoop/software/jdk1.8.0_212

2. 配置Flume环境变量

su -l root
vi /etc/profile

添加如下内容：

#flume
export FLUME_HOME=/home/hadoop/software/apache-flume-1.6.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=$PATH:$FLUME_HOME/bin

注意：配置全局环境变量后使用source /etc/profile命令只对root用户生效，若对全部用户生效需要使用reboot命令重启虚拟机。

4. 分发验证

1. 验证安装是否成功

flume-ng version

如果出现Flume版本号等信息说明安装成功，否则安装失败。

2. 分发到各个节点
   通过scp命令将Flume的配置和环境变量配置发送到其他节点，以slave001、slave002、slave003三台节点作为Flume集群。

scp -r ~/software/apache-flume-1.6.0-bin/ slave002:~/software/
scp -r ~/software/apache-flume-1.6.0-bin/ slave003:~/software/
su -l root
scp /etc/profile slave002:/etc/
scp /etc/profile slave003:/etc/

分别打开slave002、slave003节点终端，进入到root用户，使用reboot命令重启虚拟机。然后分别登录slave002、slave003节点，使用flume-ng version命令验证Flume安装是否成功。