コレクション、この文書構造のfilebeatのストリーミング、カフカ、ヘラジカ、解析し、ストレージ、可視化システムをログに記録します。
I.説明
POD(容器)の1.k8sは、ホスト・ディスク・ディレクトリにコンテナ内のデータの永続性をボリュームをマウントしました。
ホストモニタ上のディレクトリ2.filebeat、生産ログデータを収集します。
データを格納するために使用される、トピックを作成し、データメッセージの送信キューを記録3.kafka。
インデックスながら、カフカのデータ4.logstash消費、保存されたelasticsearchをログに記録します。
5.elasticsearchストアのログデータ。
6.kibanaは、インデックス、検索ログデータセット、可視化を発見しました。
II。&コンフィギュ構築するための環境
ビルドします。
1.filebeat、カフカは、tar.gz形式のパッケージをダウンロードする公式サイトを採用します。
2.elkドッキングウィンドウは、ダウンロードミラーを構成する使用。
構成:
1.filebeat
入力:ディスクのログ・パス
出力:カフカ生産側(送信データセットは、トピックに応じて求めることができます)
別のkinana場合は、次のように、Kinanaホストの指定:
2.kafka解凍:
カフカは、IPアドレスとポートをリスニング:
リスニングポートを飼育係:
(ヘラジカと呼ばれる)のトピックを作成します。bin / kafka-topics.sh --create --zookeeper 10.0.6.25:2181 --replication-因子1 --partitions 1 --topicヘラジカ
トピックを検索します。bin / kafka-topics.sh --list --zookeeper 10.0.6.25:2181
明確な成功を作成します。
3.logstash:
入力(トピックを指定カフカ消費)出力(データ・ストレージ、インデックスelasticsearchを作成)
4.elasticsearch:
5.kinana:
三.kinana:http://10.0.6.114:5601
managerment:
インデックスパターンは、インデックスパターンを作成しますヘラジカを
発見:ログデータセットを見ることができます
これまでのところ、成功を構築するための環境を提供します。
IV。ファイル名を指定して実行
1.filebeat、飼育係、カフカ、run-zkf.sh
2.elk:
アップドッキングウィンドウは、構成-d
ドッキングウィンドウ-compose.yml:
上記