flume ng研究一

flume 是一套日志收集,转发/转存工具。NG的架构非常简单,整个只是AGENT,分3个部分,SOURCE (数据源连接器),CHANNEL (缓存),SINK(数据目的地连接器)。

整个应用有5个部分组成:数据源,SOURCE(只是数据源的连接器),CHANNEL,SINK(只是数据目的地的连接器),数据目的地。数据源和数据目的地数据flume系统之外的东西,中间3个属于FLUME。

CHANNEL的作用就是解耦SOURCE 和SINK。能很好的保障系统可靠性。比如使用文件系统做CHANNEL。

启动: bin/flume-ng agent -c conf/ -f conf/a1.properties -Dflume.root.logger=DEBUG,console -n a1

猜你喜欢

转载自qianjian21.iteye.com/blog/2236496
今日推荐