1.ELK適用事例
ELK 導入事例:
このアーキテクチャは少し複雑なので、ここでアーキテクチャの解釈を説明します。このアーキテクチャ図は左から右に5つの層に分かれており、各層の機能と意味を以下に紹介します。
最初の層、データ収集層
データ収集層は一番左の業務サーバクラスタにあり、各業務サーバにログ収集用のFilebeatをインストールし、収集したオリジナルログをKafka+zookeeperクラスタに送信します。
2 番目の層、メッセージ キュー層
元のログは Kafka+zookeeper クラスターに送信された後、一元的に保存されます。この時点では、filbeat がメッセージのプロデューサーであり、保存されたメッセージはいつでも使用できます。
3層目、データ分析層
コンシューマーとして、Logstash は Kafka+zookeeper クラスター ノードに移動して元のログをリアルタイムで取得し、取得した元のログをルールに従って分析、クリーニング、フィルター処理し、最後にクリーニングされたログを Elasticsearch クラスターに転送します。
4 番目の層、データ永続ストレージ
Elasticsearch クラスターは、logstash によって送信されたデータを受信すると、ディスクへの書き込み、インデックス ライブラリの構築などの操作を実行し、最終的に構造化データを Elasticsearch クラスターに保存します。
5番目のレイヤー、データクエリ、表示レイヤー
Kibana はビジュアルデータ表示プラットフォームであり、データ取得リクエストがあると Elasticsearch クラスターからデータを読み込み、ビジュアルグラフ化や多次元分析を行います。