flume NG 配置及案例

Flume 的一些核心概念:
组件 功能
Agent 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。
Client 生产数据,运行在一个独立的线程。
Source 从Client收集数据,传递给Channel。
Sink 从Channel收集数据,运行在一个独立线程。
Channel 连接 sources 和 sinks ,这个有点像一个队列。
Events 可以是日志记录、 avro 对象等。


a1.sinkgroups.g1.processor.type = LOAD_BALANCE  负载均衡
a1.sinkgroups.g1.processor.selector = ROUND_ROBIN  轮循输出
a1.sinkgroups.g1.processor.backoff = true

猜你喜欢

转载自408933325.iteye.com/blog/2217684