day007flume

1.Flume Introduction

flume：是一个分布式的数据采集系统。

flume的主要作用：最主要的就是收集日志文件。

现在采用的是ng版本，是cloudera公司作为自身一款产品开发的。



flume的运行机制

最核心的角色：agent（代理），由我们设定一个数据收的方式，一个代理代表一个服务

agent的组成：

    source：指定从什么地方进行数据数据，指定数据源

    channel：管道（信道），用于source和sink之间数据的传递。

                event：传递的数据，传递的都是一个个的event

    sink：（水槽），数据的下沉点，就是数据最终保存到什么位置 。

2.Flume of installation and deployment

略

服务的启动

bin / flume-ng agent - start a proxy

-c conf - specified configuration file directory

-f conf / netcat-logger.conf - reads the specified configuration file

-n a1 - the name of the startup agent

-Dflume.root.logger = INFO, console - the reception log Print