従来のシステムのログ収集問題
本番環境であれば、伝統的なプロジェクトでは、サーバの異なるクラスタの数は、本番環境で必要な場合バグログプロジェクトの位置づけ、各ノードでコマンドの伝統的な方法を使用して照会する必要があるので効率が非常に下にあります。
典型的には、ログは異なる記憶装置上に分散されています。あなたは何百台ものサーバの数十を管理する場合でも、ログの検査の伝統的な方法を使用して順番に各マシンにログインします。これは非常に面倒で非効率的な感じされていません。我々のような、中央集中型のログ管理を使用することが不可欠：すべてのサーバーにログオンし、オープンソースのsyslogが集計を集めます。
集中管理、ログ管理の後、統計情報を記録して検索が面倒なことになってきた、我々は一般的なawk、grepのを使用し、トイレや他のLinuxは、検索や統計情報を得ることができますが、並べ替え、クエリ、およびより厳しい統計的要件のためのコマンドそしてマシンも、この方法を使用する多数のやや無力でした。
Queryコマンド：
300 myes.log -n尾| グレップ「ノード-1」
尾-100f myes.log
ELK分散ログ収集システムを導入します
ElasticSearchは Luceneのオープンソースの検索サーバーに基づいて配布されます。その機能は次のとおり分散、ゼロコンフィギュレーション、自動検出、自動スライスインデックス、インデックス複製機構、安らかスタイルインターフェイス、このような自動負荷検索などの複数のデータソースを、。これは、RESTfulなWebインターフェイスに基づいて、フルテキスト検索エンジンの分散型マルチユーザ機能を提供します。ElasticsearchはJavaで書かれた、と公表Apacheのライセンス条件の下でオープンソースとして、二番目に人気のある検索エンジンの会社です。、安定した信頼性の高い、迅速かつ簡単にインストールするリアルタイム検索を実現するために、クラウドのために設計されています。
Logstashは 、あなたのログ収集、ろ過、分析であることがデータ収集方法の多数をサポートし、（検索など）後で使用するために保存することができ、完全にオープンソースのツールです。それは、Webインターフェイスで、logstashを検索するために来るとき、検索し、すべてのログを表示します。ホスト側にインストールされているのC / Sアーキテクチャの一般的な作業は、クライアントがアップelasticsearchする同時に変更し、他の操作、サーバ側は、受信したログがフィルタリングされている各ノードに責任がある、ログを収集する必要があります。
Kibanaは 分析がオープンソースで、無料のツールは、Kibanaは、あなたがまとめる手助け分析し、重要なデータのログを検索することができLogstashとElasticSearchフレンドリーWebインターフェイスを提供することができるログ、ブラウザベースのフロントエンド・プレゼンテーションツールElasticsearchページです。
分散ログ収集のELK原理
図1に示すように、各サーバノードクラスタのインストールLogstashログ収集システムプラグ
図2に示すように、各サーバ・ノードはLogstash内のログに入力されます。
図3に示すように、Logstash JSONはElasticSearchの出力に応じて、毎日の異なるインデックスを作成、ログフォーマットとしてフォーマット
4、ブラウザがKibanaのクエリログをインストールするための情報を使用しています
環境インストール
1、インストールElasticSearch
2、インストールLogstash
3、安装Kibana
Logstashはじめに
Logstashは、あなたのログ収集、ろ過、分析であることがデータ収集方法の多数をサポートし、（検索など）後で使用するために保存することができ、完全にオープンソースのツールです。それは、Webインターフェイスで、logstashを検索するために来るとき、検索し、すべてのログを表示します。ホスト側にインストールされているのC / Sアーキテクチャの一般的な作業は、クライアントがアップelasticsearchする同時に変更し、他の操作、サーバ側は、受信したログがフィルタリングされている各ノードに責任がある、ログを収集する必要があります。コアプロセス：入力→フィルタ→出力：Logstashイベントハンドラは三つの段階があります。これは、受信、処理、転送ロギングツールです。サポートシステムログ、Webサーバのログ、エラーログ、アプリケーションログ、要するに、ログのすべてのタイプを含めるように投げることができます。
Logstash作品
入力→フィルタ→出力：Logstashイベントハンドラは三つの段階があります。これは、受信、処理、転送ロギングツールです。サポートシステムログ、Webサーバのログ、エラーログ、アプリケーションログ、要するに、ログのすべてのタイプを含めるように投げることができます。
入力：logstashに入力データ。
いくつかの一般的な入力：
ファイル：ファイルシステムからファイルを読んで、類似したTiAl -fコマンド
のsyslog：ポート514上のシステムログメッセージを監視し、RFC3164標準に従った分析
のRedis：でRedisのサービスからの読み取り
ビート： filebeatから読み取ります
フィルタ：中間処理データは、データ上で動作します。
いくつかの一般的なフィルターは、次の
GROK：GROKが最も重要なプラグインLogstashで、任意のテキストデータを解析します。その主な役割は、正規表現を使用して、特定の構造化データに変換し、文字列のテキスト形式にあります。120以上の構文解析文法を構築しました。
変異さ：フィールドの変換を。例えば、フィールドはように、置き換え、変更、名前変更、および削除します。
ドロップ：処理イベントの一部を廃棄しません。
クローン：copyイベント、プロセスは、フィールドを追加または削除することがあります。
GeoIP：（グラフの使用を示す正面kibanaための）地理情報を追加
出力：出力は、先端アセンブリlogstash処理パイプラインです。イベントは、プロセス内の複数の出力を通過することができますが、すべての出力が最後に実行されると、このイベントは、ライフサイクルを完了します。
：いくつかの一般的なとして出力
elasticsearch：データを効率的に保存することができ、便利で簡単な照会することができます。
ファイル：ファイルへのイベントデータを保存します。
グラファイト：グラフィックコンポーネントアセンブリにイベントデータを送信する、非常に人気のあるオープンソース・ストアのグラフィカル表示。
コーデック：コーデックは、データフローフィルタに基づいており、それは構成の入力、出力部として使用することができます。コーデックを使用すると、簡単に分割経由で送信されるデータをシリアライズされていることができます。
いくつかの一般的なコーデック：
JSON：JSON形式を使用してデータのエンコード/デコード。
マルチ：一列に複数のイベントに集約データのやり取り。たとえば、次のようにJavaの例外情報とスタック情報。
Logstash設置環境
1、インストールパッケージをlogstashアップロード（データ）
2、logstash-6.4.3.tar.gz -zxvfタールを抽出
myindex.conf configディレクトリに配置された3は、読んで、ログ情報を読み出しています
デモンストレーション効果
1、スタート./logstash -f ../config/mayikt02.conflogstash
2、スタート./elasticsearch
3、./kibana Logstashアドレスは保存のために毎日形式別のインデックスを作成するために、ESリアルタイムで保存され、ローカルファイルを読み始めます。
Kibanaプラットフォームクエリは/es-2018.11.27/_search GET