day007flume

1.Flume介绍

flume：是一个分布式的数据采集系统。

flume的主要作用：最主要的就是收集日志文件。

现在采用的是ng版本，是cloudera公司作为自身一款产品开发的。



flume的运行机制

最核心的角色：agent（代理），由我们设定一个数据收的方式，一个代理代表一个服务

agent的组成：

    source：指定从什么地方进行数据数据，指定数据源

    channel：管道（信道），用于source和sink之间数据的传递。

                event：传递的数据，传递的都是一个个的event

    sink：（水槽），数据的下沉点，就是数据最终保存到什么位置 。

2.Flume的安装部署

略

服务的启动

bin/flume-ng agent --启动一个代理

-c conf --指定配置文件目录

-f conf/netcat-logger.conf --读取指定的配置文件

-n a1 --启动agent的名称

-Dflume.root.logger=INFO,console --前台日志打印