Flume-演習

 

 

 

1どのように水路を監視するデータ伝送を達成しました

  神経節リアルタイムで水路を監視し、サードパーティ製のフレームワークを使用してください。
 
 

ソース、シンクの2水路の役割、チャンネルの?ユーザーが入力する文字を元?

1、の役割
(1)ソースアセンブリは、データを収集するように設計され、様々なフォーマットでログデータの様々なタイプを扱うことができ、
包括アブロ、倹約、幹部、JMS、スプールディレクトリ、netcatを、シーケンスジェネレータは、Syslog、HTTP、
レガシー
(2)収集されたデータ・キャッシュのチャネル成分を、またはでのメモリファイルに記憶することができます。
(3)シンクは、宛先コンポーネントにデータを送信するコンポーネント、HDFS、ロガー、アブロ、を含む宛先であります
倹約、IPC、ファイル、HBaseの、Solrの、カスタム。
2、私が使用していますソースの種類は次のとおりです。
(1)バックグラウンド・ログを監視する:EXEC
(2)監視背景が生成されたポート・ログ:netcatを
Execのspooldir
 
 
 

3つの水路的チャンネルセレクタ 

 

チューニングパラメータ4水路

1.ソース
  ソース数の増加は、(番号がファイルグループTAIRディレクトリソースを使用するときに増大させることができる)を読み取るソースを増加させることができます
データを取る能力。たとえば、次のファイルディレクトリで生成されたディレクトリのファイルを複数のファイルに過度の分割を必要とするとき
新しく生成されたデータを取得するのに十分な容量があることを確認するために、複数のソースソースをディレクトリと設定します。
  BATCHSIZE Sourceパラメータは、イベントのストリップチャネルへのバルク輸送の数を決定し、このパラメータは、大規模な転送に適切なものとすることができます
イベントソースは、チャンネルのハンドリング性能を向上させます。
 
2.チャネル
  最高の種類のチャネルメモリのパフォーマンスを選択していますが、誤って電話を切った場合に水路プロセスが失う可能性がある場合には
それはあります。ときフォールトトレランスのチャンネルより良いファイルの種類を選択しますが、メモリチャネルの性能よりも悪いです。
  異なるファイル複数のチャネルを使用してディスクの下dataDirs設定ディレクトリは、パフォーマンスを向上させることができます。
  チャネル容量パラメータの決意は、片イベントの最大数を収容することができます。transactionCapacityパラメータは、それぞれを決定します
内部チャネルからのイベントの最大数と読み出しの各イベントシンク最大数に書き込まれたソースチャネル。
transactionCapacityは、ソースおよびシンクのBATCHSIZEパラメータ以上のものが必要。
 
3.シンク
  消費の数のシンクの増加は能力イベントシンクを増大させることができます。シンクは、あまりにも、ライン上でより良い十分ではありません
シンクは、システム資源の無駄遣いで、その結果、より多くのシステムリソースを占有します。
  バッチサイズパラメータは、このパラメータは適切な大きさに転送することができるバルク・チャネルから読み出さ片シンクイベントの数を決定します
シンクアンロードはチャンネルから演奏イベントを向上させます。
 
 

5水路取引メカニズム

  (データベーストランザクション機構と同様)水路取引メカニズム:水路二つの別々の取引を担当しています
チャンネルシンクイベントから転送するチャンネルにSoucrce、など。このようなスプールディレクトリ・ソースとして
ファイルの各行には、トランザクション内のすべてのイベントは、一度、すべてのチャンネルに配信イベントを作成し、成功提出します
完成されたファイルのSoucrceがマークされています。同様に、トランザクションは、チャネルからシンク上と同様に送信されます。
チェンは、イベント・レコードを作ることはできませんいくつかの理由であれば、そのトランザクションはロールバックされます。そして、すべてのイベントがに開催されます。
チャネルおよび再配信を待ちます。
 
 

6水路は、データがそれを失われます収集しましたか?

、チャネルストレージをファイルに保存することができない、データ伝送自体は、業務があります。

 

 

 

 

 

 

 

 

 

 

 

 

 

おすすめ

転載: www.cnblogs.com/LXL616/p/10971236.html