複数の Flume エージェント プログラムを相互に接続でき、1 つのエージェントのシンクが別のエージェントのソースにデータを送信します。Avro ファイル形式は、Flume を使用してネットワーク経由でデータを送信する標準的な方法です。
複数の Web サーバーからログを収集し、1 つ以上の集中処理エージェントに送信してから、ログ ストレージ センターに送信します。
同じログが異なる宛先に送信されます。
前の 2 つの例を組み合わせて適用します
最初のエージェントは Netcat からデータを受信し、チャネルとシンクを追加し、このシンクを 2 番目のエージェントに送信します。
2 番目のエージェントは、シンクから送信されるイベントを監視しながらファイルの変更を監視し、最終的にコンソールに出力します。
Avro Sink を使用するには、次のプロパティを設定する必要があります
| 属性名 | デフォルト値 | 説明 |
| チャネル | – | |
| タイプ | – | アブロ |
| ホスト名 | – | バインディングホスト名またはIPアドレス |
| ポート | – | リスニングポート |
Avro Source を使用するには、次のプロパティを設定する必要があります
| 属性名 | デフォルト値 | 説明する |
| チャンネル | – | |
| タイプ | – | アブロ |
| 練る | – | バインディングホスト名またはIPアドレス |
| ポート | – | リスニングポート |
Agent1設定ファイルを追加
# 定义agent名称为a1
# 设置3个组件的名称
a1.sources = r1
a1.sinks = k1 k2
a1.channels = c1 c2
# 配置source类型为NetCat,监听地址为本机，端口为44444
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 配置sink1类型为Logger
a1.sinks.k1.type = logger
# 配置sink2类型为Avro
a1.sinks.k2.type = avro
a1.sinks.k2.hostname = 192.168.85.132
a1.sinks.k2.port = 55555
# 配置channel类型为内存，内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.channels.c2.type = memory
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 100
# 将source和sink绑定到channel上
a1.sources.r1.channels = c1 c2
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2Agent2設定ファイルを追加
# 定义agent名称为a2
# 设置3个组件的名称
a2.sources = r1 r2
a2.sinks = k1
a2.channels = c1
# 配置source类型为exec,命令为 tail -F app.log
a2.sources.r1.type = exec
a2.sources.r1.command = tail -F app.log
# 配置source类型为avro
a2.sources.r2.type = avro
a2.sources.r2.bind = 192.168.85.132
a2.sources.r2.port = 55555
# 配置sink类型为Logger
a2.sinks.k1.type = logger
# 配置channel类型为内存，内存队列最大容量为1000，一个事务中从source接收的Events数量或者发送给sink的Events数量最大为100
a2.channels.c1.type = memory
a2.channels.c1.capacity = 1000
a2.channels.c1.transactionCapacity = 100
# 将source和sink绑定到channel上
a2.sources.r1.channels = c1
a2.sources.r2.channels = c1
a2.sinks.k1.channel = c1エージェント1とエージェント2を起動します
flume-ng agent -n a1 -c conf -f agent1.conf
flume-ng agent -n a2 -c conf -f agent2.confまずログを app.log に書き込むと、agent2 で最新のデータが確認できます。
Netcat を開いて 44444 に接続し、データを送信すると、エージェント 1 とエージェント 2 の最新データを同時に確認できます。