アウトライン
Apacheの水路集約効率的に収集するための分散、信頼性が高く、使用可能なシステム、およびモバイルに集中データストレージの異なる複数のソースからのログデータが大量です。
Apacheの水路ログデータは、重合の使用に限定されません。データ・ソースがカスタマイズ可能であるため、イベントのこのよう水路数は、データを送信するために使用することができ、トラフィック・データをネットワークに限定されるものではないが、ソーシャルメディアは、データを生成し、電子メールメッセージは、実質的に任意のデータ・ソースであってもよいです。
Apacheの水路は、Apache Software Foundationのトップレベルのプロジェクトで、コードのリリース、バージョン0.9.xおよび1.xの2行があります
システム要件
1.Javaランタイム環境 - (JDKバージョン1.8以降を使用して、例えばflume1.8.0のために)一致している必要があります
十分なメモリを有するチャネルに使用されるコンフィギュレーション・ソース又は受信機 - 2メモリ
3.ディスク容量 - または十分なディスク領域を使用するように構成された受信チャンネル
4.ディレクトリのパーミッション - ディレクトリエージェントが使用するには、読み取り/書き込み権限を
インストールの設定
水路単一ノードの展開。この設定は、ユーザーがイベントを生成し、コンソールにそれを記録することができます。
あなたは、Linuxにアップロードして、次をインストールするパスを抽出したい水路バージョンをダウンロードするには1.公式サイト
2. [設定の環境変数:VIMは/ etc / profile
3.即効性の源は/ etc / profile
彼らのインストールパスを探します:
その後、例のこのパスのvimのあるexample.confで/opt/apache-flume-1.8.0-bin/conf、とのために、以下の設定をコピー
#のあるexample.conf:単一ノード構成水路
名前#このプロキシのコンポーネント
a1.sources R1 =
a1.sinks = K1は
= C1のa1.channels
#説明/設定ソース
a1.sources.r1.typeのnetcatを=
A1を。=ローカルホストsources.r1.bind
a1.sources.r1.port = 44444
#説明シンク
a1.sinks.k1.type =ロガー
チャネルのバッファメモリ使用してイベントの#
a1.channels.c1.typeは=メモリー
.c1をa1.channels = 1000 .capacity
a1.channels.c1.transactionCapacity = 100
#チャンネルに結合し、ソースとシンク
a1.sources.r1.channels = C1
a1.sinks.k1.channel = C1
この構成は、A1の名前のエージェントを定義します。A1ソースデータポート44444、キャッシュメモリチャネルイベントデータ、イベントデータレコーダとコンソールに受信機のリスナーの1つ。さまざまなコンポーネントを命名プロフィール、その後、その種類や設定パラメータを説明しています。特定のプロファイルは、複数の名前のエージェントを定義することができ、与えられた水路の処理が開始されると、それは指定されたエージェントを表示するには、どのようなことを伝えるフラグを渡します。
水路を実行し、ディレクトリは/ opt / apacheの-水路-1.6.0-binに/ binに、水路を開始
水路-ngのエージェント-n A1 -f /conf/example.conf -Dflume.root.logger = INFO、コンソール
パラメータ:
-nは、エージェント名を指定し
、プロファイルディレクトリを指定-cは、
設定ファイルに指定-f
-Dflume.root.logger = DEBUG、コンソールログレベルの設定を
リモートポート44444に別の接続端子を開き、テストイベントの水路を送信します
telnet localhostの44444