まず、収集システムのバックグラウンドを記録
1つの背景
- 。各システムは時にシステムの問題ログを持って、ログで対処する必要があります
- システムが比較的少ないタイムマシンである場合には、B。、満たすためにサーバーを表示するためにログイン
- マシンは巨大なシステムのサイズ、マシンはほとんど非現実的なビューにログインし、C。
2つのソリューション
- 。センターにリアルタイムで、ユニファイドストレージシステムを収集するために、マシンにログオンします
- B、次いで対応するログを検索することによって見つけることができ、これらのログに連動
- C。したがって、ウェブ検索でログを完了し、ユーザーフレンドリーなWebインターフェイスを提供することにより
3つの問題に遭遇
。リアルタイムのログは、一日あたりのメッセージ数十億非常に大きい
B。のレベルを制御する分には遅延、リアルタイムのコレクションの近くにログイン
Cを水平にスケーラブル
4 ELK業界プログラム
5つのELKプログラム
各追加のログ収集用。高運用・保守コストは、手動で設定変更する必要が
Bを。欠陥を制御し、状態が正確logstashの得ることができない
Cを。カスタム開発やメンテナンスを行うことができません
第二に、ログ収集システムアーキテクチャ
6ログ収集システムの設計
部品のご紹介
A。ログエージェントは、サーバ上のログを収集するために収集クライアントのログを記録
Bを。カフカは、高いスループットがキューを分散、開発、Apacheのトップオープンソースプロジェクトのリンキン
HTTPベースの提供C。ES、elasticsearch、オープンソースの検索エンジンをウェブインターフェース安らか
D。Hadoopの、分散コンピューティングフレームワーク、大量のデータを処理プラットフォームを分散させることができます