大数据第九课-Flume的安装和使用

一、Flume的安装

==Flume安装很简单,解压好基本上就可以使用==

1、下载安装包

http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.2.tar.gz

flume-ng-1.6.0-cdh5.14.2.tar.gz

2、规划安装目录

/kkb/install

3、上传安装包到服务器

4、解压安装包到指定的规划目录

tar -zxvf flume-ng-1.6.0-cdh5.14.2.tar.gz -C /kkb/install

5、重命名解压目录

mv apache-flume-1.6.0-cdh5.14.2-bin flume-1.6.0-cdh5.14.2

6、修改配置

进入到flume安装目录下的conf文件夹中

先重命名文件

mv flume-env.sh.template flume-env.sh

修改文件,添加java环境变量

 vim flume-env.sh

export JAVA_HOME=/kkb/install/jdk1.8.0_141

二、Flume的使用

1、监控本地的文件修改情况,并将其在控制台输出                     

     (单机安装Flume,不需要启动HDFS)

2、监控本地的文件修改情况,将其按照格式存入HDFS上       

    (单机安装Flume,   需要启动HDFS)

3、监控某目录文件修改情况,将其按照格式存入HDFS上          

  (单机安装Flume,   需要启动HDFS)

4、监控 A 机器上的文件修改情况,同网络与 B 机器上的flume级联,B机器接收A机器的信息并传输到HDFS上

  (A,B 机器安装Flume,   需要启动HDFS)

5、故障转移    (当监控中的一台机器故障后,另一台机器自动接替工作)

6、负载均衡         (通过多台机器 轮流 去监控某目录下的信息)

7、静态拦截器   (监控多台电脑指定目录的修改信息,通过另一台机器 存储到HDFS的指定目录上)

8、自定义拦截器  (按照需求将不需要显示的内容按照编码掩盖)

9、自定义Source (监控数据库,将修改信息发送到本机控制台)

10、自定义Sink   (监控本地文件,将修改信息发送给MySQL数据库)

flume的指令在实际运用时需要在后台执行(nohup)

  

猜你喜欢

转载自www.cnblogs.com/tyh666/p/12541199.html
今日推荐