flume如何保证数据的可靠性

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/qq_40713537/article/details/102568737

1.事务

Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。一旦事务中所有的事件全部传递到channel且提交成功，那么source就将该文件标记为完成。同理，事务以类似的方式处理从channel到sink的传递过程，如果因为某种 原因使得事件无法记录，那么事务将会回滚。且所有的事件都会保持到channel中，等待重新传递。

Flume的事务机制，总的来说，保证了source产生的每个事件都会传送到sink中。这样就造成每个source产生的事件至少到达sink一次，换句话说就是同一事件有可能重复到达。

2.Channel配置

Flume中提供的Channel实现主要有三个：

• Memory Channel           event保存在Java Heap中。如果允许数据小量丢失，推荐使用。（宕机可能丢失数据）
• File Channel                  event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel
• JDBC Channel               event保存在关系数据中，一般不推荐使用