Elk ログ分析の導入と構成

第 12 章 ELK ログ分析システム
1. ELK: オープンソースのリアルタイム ログ分析プラットフォームであり、ElasticSearch、Logstash、および Kiabana の 3 つのオープン ソース ツールで構成されます
ElasticSearch (略して ES): 分散型リアルタイム分析検索エンジン分散型、ゼロ構成。自動検出、自動インデックス シャーディング、インデックス コピー メカニズム、RESTful インターフェイス、複数のデータ ソース、自動検索ロードなどの機能が含まれます。
Logstash: ログ収集に使用し、データを処理して ES に出力できる
Kibana: 重要なデータログを要約、分析、検索できるグラフィカルなログ分析インターフェイスを提供
2. ログの処理と分析のステップ:
1. ログの一元管理
2 . ログのフォーマット (logstash) と ES への出力
3. フォーマットされたデータ (ES) のインデックス付けと保存
4. 以前のデータの表示
3. Elasticsearch の中心概念:
1. 準リアルタイム (NRT): 検索の遅延ドキュメントの場合は非常に小さい (1 秒)
2. クラスター: 1 つ以上のノードで構成され、すべてのノードにユーザー データを保存し、インデックス作成と検索機能を一緒に提供し、マスター ノードを選択します。
3. ノード: 各ノードはデータを保存し、クラスターのインデックス作成と検索に参加します。
4. インデックス: データが保存される場所 (データベースに似ています)。全文インデックス作成を簡単に実行できます。インデックスには保存されたデータのタイプ (テーブルに似たタイプ) が含まれ、タイプにはドキュメント (レコードに似たもの) が含まれます。 5.
シャーディングとコピー: ES はインデックスを複数のシャードに分割します (デフォルトは 5 シャード)。コピーはインデックスのバックアップであり、データの冗長性と負荷分散に使用されます。
ESポート9200。Elasticsearch-head (アクセスポート 9100) プラグインをインストールすると、クラスターをより便利に管理できます。クラスターのステータスは、健全性を表す緑色 (緑) です。 4. Logstash: データ送信、フォーマット処理、およびフォーマットされた出力を実現します
。パイプライン方式を使用してログを収集、処理、出力します。Java環境が必要です。Logstash には、入力、処理 (フィルター、オプション)、出力の 3 つの段階があります。
5. Kibana: ES 用のオープンソース分析および視覚化プラットフォーム。主に ES と連携するように設計されており、ES インデックスに保存されているデータを検索および表示し、高度なデータ分析を実行してさまざまなチャートを表示できます。アクセスポート 5601
Kinaba の主な機能:
1. ES とのシームレスな統合 2. データの統合 3. 複合データ分析 4. より多くのチームがメリットを享受できるようにする 5. 柔軟なインターフェース 6. シンプルな構成 7. 複数のデータソースを視覚化する 8. シンプルなデータエクスポート

---