[1]水路を取得基本的な構成要素(B)エージェント

仕事

水路-OGは、マルチマスターの方法を使用しています。コンフィギュレーションデータの変更は、ZooKeeperの水路マスタノードに通知することができる場合、構成データの整合性を保証するために、ZooKeeperのザ水路の導入は、コンフィギュレーションデータを格納するために、ZooKeeperの自体は、また、一貫性および高可用性構成データを確保することができます。ゴシッププロトコル間の水路マスター同期データを用います。
フルーム-ngの最も明白な変更は、マスター飼育係の廃止は、管理と設定を集中単なる伝達ツールとなっています。別の大きな違い水路-NGは、データに読み出され、異なるプロセス動作するスレッドによって書き込まれたデータは、(ランナーをいいます)。フルーム-OGでは、読み取りスレッドが(再試行の失敗を除く)同じことを書くの仕事をします。あなたが遅い、その後、(いない完全な失敗)書く場合、そのブロック水路能力は、データを受信します。この非同期設計は読んスレッドが下流の問題に注意することなく、スムーズに動作することができます。
 

優位

情報の収集がピークに遭遇したとき、ある時間をかけてデータ収集の高速書き込みデータは、この時間は情報収集がさらにシステムへの書き込みデータに能力が、この時、水路データの意志よりも、非常に大きい2生産者の間で、それは滑らかなデータをその間に提供することができることを確認し、データコンテナを調整します。
 
エージェントは、主によって:ソース、チャネル、3つのコンポーネントが沈みます。
ソース:
データ発生器からデータを受信し、イベントの1つまたは複数のチャネル形式水路に受信データを転送するチャネル、水路の実施形態は、各種データを提供するなどアブロ、倹約、twitter1の%として、受信しました
チャネル:
チャネルは、チャネルが完全なトランザクションで、それはソースとシンクの間のブリッジの役割を果たし、それは彼らがシンクに消費されるまで、キャッシュされたの形式でのイベントに、ソースからのデータを受信する、一時的な保存容器ですこのデータの性を保証する一貫性が送信され、受信時に、どんなサポートされているソースおよびシンクリンクタイプの番号にすることができ.. JDBCチャンネル、ファイルシステムのチャネル、メモリチャネルのように。
シンク:
そのようなメモリHBaseのように、データシンクを格納し、そこから目的地までの(イベント)HDFSを濃縮し、その消費データ転送チャネル。シンクが別の宛先であってもよいし、できるHDFS、HBaseの。

おすすめ

転載: www.cnblogs.com/Agnes1994/p/12217582.html