Flume实战案例运维篇

　　　　　　　　　　　　　　Flume实战案例运维篇

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

一.Flume概述

1>.什么是Flume

 

　　Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方。
　　
　　官方地址：http://flume.apache.org/。

2>.Flume特性

（1）高可靠性
　　　　Flume提供了end to end的数据可靠性机制

（2）易于扩展
　　　　Agent为分布式架构，可水平扩展

（3）易于恢复
　　　　Channel中保存了与数据源有关的事件，用于失败时的恢复

（4）功能丰富
　　　　Flume内置了多种组件，包括不同数据源和不同存储方式

3>.Flume常用组件

（1）Source：
　　　　数据源，简单的说就是agent获取数据的入口。

（2）Channel：
　　　　管道，数据流通和存储的通道。一个source必须至少和一个channel关联。

（3）Sink：
　　　　用来接收channel传输的数据并将之传送到指定的地方，成功后从channel中删除。

4>.Flume架构

二.

 

 

三.