Flume日志采集框架学习

1. 概述

• Flume 是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统；
• Flume 可以采集文件、socket数据包、文件、目录、Kafka等各种形式数据源，又可以将采集到的数据（下沉 sink）输出到 HDFS、HBase、Hive、Kafka等众多外部存储系统中；
• 一般的采集需求，通过对 Flume 的简单配置即可实现；
• Flume 针对特殊场景也具备良好的自定义扩展能力，因此，Flume 适用于大部分的日常数据采集场景；

2. 运行机制

• Flume 分布式系统中最核心的角色是 agent，Flume 采集系统就是由一个个 agent 所连接起来形成的；

每一个 agent 相当于一个数据传递员，内部有三个组件：
1. Source： 采集组件，用于与众多数据源对接，以获取数据；
2. Channel： 传输通道组件，用于从 Source 将数据传递到 Sink；
3. Sink： 下沉组件，用于往下一级 agent 传递数据 或者 往最终存储系统传递数据；

3. 单个 agent 采集数据

4. 多个 agent 采集数据