filebeat-カフカ - ヘラジカのビルド

コレクション、この文書構造のfilebeatのストリーミング、カフカ、ヘラジカ、解析し、ストレージ、可視化システムをログに記録します。

I.説明

    POD(容器)の1.k8sは、ホスト・ディスク・ディレクトリにコンテナ内のデータの永続性をボリュームをマウントしました。

    ホストモニタ上のディレクトリ2.filebeat、生産ログデータを収集します。

    データを格納するために使用される、トピックを作成し、データメッセージの送信キューを記録3.kafka。

    インデックスながら、カフカのデータ4.logstash消費、保存されたelasticsearchをログに記録します。

    5.elasticsearchストアのログデータ。

    6.kibanaは、インデックス、検索ログデータセット、可視化を発見しました。

II。&コンフィギュ構築するための環境

    ビルドします。

    1.filebeat、カフカは、tar.gz形式のパッケージをダウンロードする公式サイトを採用します。

    2.elkドッキングウィンドウは、ダウンロードミラーを構成する使用。

      

    構成:

    1.filebeat

      入力:ディスクのログ・パス

      

      出力:カフカ生産側(送信データセットは、トピックに応じて求めることができます)

      

      別のkinana場合は、次のように、Kinanaホストの指定:

      

    2.kafka解凍:

      カフカは、IPアドレスとポートをリスニング:

      

      リスニングポートを飼育係:

      

      (ヘラジカと呼ばれる)のトピックを作成します。bin / kafka-topics.sh --create --zookeeper 10.0.6.25:2181 --replication-因子1 --partitions 1 --topicヘラジカ

      トピックを検索します。bin / kafka-topics.sh --list --zookeeper 10.0.6.25:2181

      明確な成功を作成します。

      

    3.logstash:

      入力(トピックを指定カフカ消費)出力(データ・ストレージ、インデックスelasticsearchを作成)

      

    4.elasticsearch:

      

    5.kinana:

      

三.kinana:http://10.0.6.114:5601

    managerment:

    インデックスパターンは、インデックスパターンを作成しますヘラジカを    

     発見:ログデータセットを見ることができます

    これまでのところ、成功を構築するための環境を提供します。

IV。ファイル名を指定して実行

    1.filebeat、飼育係、カフカ、run-zkf.sh

    

    2.elk:

      アップドッキングウィンドウは、構成-d

      ドッキングウィンドウ-compose.yml:

      

上記

 

おすすめ

転載: www.cnblogs.com/frantz/p/11415527.html