1. ELKはApacheのアクセスログを収集します
ELK がログを収集するには、次の 2 つの一般的な方法があります。
- ソース ログの形式は変更されませんが、logstash の grok メソッドによってフィルタリングおよびクリーンアップされ、元の不規則なログが通常のログに変換されます。
- ソース ログの出力形式を変更し、必要なログ形式に従って通常のログを出力します。Logstash はログの収集と送信のみを行い、ログのフィルタリングやクリーニングは行いません。
これら 2 つの方法にはそれぞれ長所と短所があり、1 つ目の方法は、元のログ出力形式を変更する必要がなく、logstash の grok メソッドを通じて直接フィルタリングと分析を実行するため、オンライン業務システムに影響を与えないという利点があります。欠点は、logstash の grok メソッドが高負荷であることです。場合によってはパフォーマンスのボトルネックになる可能性があります。分析対象のログの量が多すぎると、ログ フィルタリング分析によって正常なログ出力がブロックされる可能性があります。したがって、logstash を使用する場合、grok が使用できる場合は、grok フィルタリング機能を使用しないようにしてください。
2 番目の方法の欠点は、ログの出力形式を事前に定義する必要があり、ある程度の作業が必要になる可能性があることですが、必要なログ出力形式が定義されており、logstash はログの収集と送信のみを担当するため、コストが大幅に削減され、logstash の負担が軽減され、より効率的にログの収集と送信が可能になります。さらに、Apache や nginx など、現在一般的な Web サーバーはすべてカスタム ログ出力形式をサポートしています。したがって、企業の実際のアプリケーションでは、2 番目の方法が推奨されるソリューションです。
2. ELKはApacheのアクセスログを収集します
ここでは、次のアーキテクチャを紹介します。
1. Apache ログ形式とログ変数
Apache はカスタム出力ログ形式をサポートしていますが、apa