filebeatインストールと展開

簡単な概要

　　ELKは主にfilebeatを通じて達成するためにログを収集することに、この記事を最近のログ取得関連の内容を理解します。収集ツールをログに記録し、このようなようにfluentd、水路、logstash、ベータ版、およびなど、多くのがあります。あなたはそれfilebeat使用したい理由は、まず知っている必要がありますか？logstashのJVMが実行されているので、リソースの消費量が比較的大きい、logstashは、およそ500Mメモリの消費にはしばらくfilebeatのみ10 Mのメモリリソースが必要になり始めます。ELK共通ログ収集プログラムは、ログ・アプローチの内容のほとんどは、構成ファイルに基づいて、クラスタlogstashコンテンツフィルタを使用してメッセージキューを読み、その後、メッセージキューカフカのfilebeatを介してすべてのノードに送信されます。次に表示するkibanaによってelasticsearchフィルタリング後のファイルに輸送。

filebeatはじめに

　　探鉱者と収穫：Filebeatは、2つの主要な部分から構成される。これらのコンポーネントは、あなたの指定した出力に送信されたファイルやイベントデータを読み出すために一緒に働きます。

収穫は何ですか？
　　単一のファイルの内容を読み取るための責任を収穫。収穫は、線で各ファイルの行を読み取り、出力にコンテンツを送信します。各ファイルには収穫を開始します。収穫の実行を意味し、開閉するファイルの責任収穫は、ファイルが開いたままになります。収集プロセスは、このファイルを削除するか、ファイルの名前を変更しても、Filebeatはまだこの文書を読むことを続ける場合は、この時間は、ハーベスタが閉じるまで、ディスク容量に対応するファイルによって占有されていたであろう。デフォルトでは、close_inactiveパラメータが設定を超えるまでFilebeatは常にファイルに残ります、Filebeatはハーベスタが閉じ入れます。

閉じるハーベスター影響をもたらす：
　　閉じた場合はファイルハンドラは収穫前に、閉じられます、ファイルを読み取るには、占有ディスクリソースのリリース前に、この時間を削除または名前が変更されました。
　　時間がscan_frequencyパラメータ設定を到着すると、それは、コレクションのファイルの内容を再起動します。
　　あなたはHavesterの後半でオフにした場合は、ファイルを移動または削除、Havesterが再び起動したときに、ファイルデータが収集されることはありません。
　　あなたはハーベスタをシャットダウンする必要がある場合、それはclose_の*設定項目によって制御することができます。

プロスペクターとは何ですか？

　　プロスペクターはHarvstersを管理するための責任があり、そしてすべてのデータソースを読み取る必要が見つけます。入力タイプの設定、ログの種類がある場合は、プロスペクターは、ファイル上のすべての一致のコンフィギュレーションへのパスを見つけ、その後、ファイルごとにHarvsterを作成します。プロスペクターは、それぞれの内部に独自のゴールーチンで実行されています。

　　ログインして、標準入力：Filebeatプロスペクターは、現在、2つのタイプをサポートしています。プロスペクター各タイプには複数のプロファイルで定義することができます。プロスペクターは、各ファイルがHarvsterがまだ実行を開始するかどうか、Harvsterを開始する必要がある、またはファイルが無視されている場合（ファイルは無視され、ignore_orderを設定することができる）かどうかをチェックしますログ。ファイルはFilebeatの過程にある場合Harvsterを閉じた後に、新たに長い作成し実行し、ファイルサイズが変更された、新しいファイルがプロスペクターに選択されます。

filebeat作品

　　Filebeatは、各ファイルの状態を維持し、頻繁にディスクに状態のレジストリファイルから更新することができます。それは、ここで言及したすべてのログデータを読み出し、その後、出力に送られていることを確認することができ、記録位置Harvsterを、読み取り時に読み込まれるファイルの状態を文書化するために使用されます。ElasticSearchまたはLogstashの出力が使用できなくなったとして、いくつかの点で、Filebeatファイルを保存する場合は、最後すぐに回復ファイルのデータを読み取るために使用可能な場合、再びダウン出力までの位置をお読みください。Filebaet動作中、各プロスペクター状態情報はメモリに格納されます。Filebeatが再起動を旅行した後、再起動が再起動する前に、レジストリファイルからの状態情報を復元する場合は、FIlebeatは、データの読み出しを開始する前に既知の位置から続けてみましょう。

プロスペクターが見つかりました。各ファイルの状態情報を維持します。ファイルパスの名前を変更するか、変更することができますので、ファイル名とパスは、ファイルを識別するのに十分ではありません。Filebeatのために、それは固有の識別子によって達成されるには、文書が以前に収集されたかどうかを判断するために格納されています。

　　あなたの使用シナリオは、毎日新しいたくさんのファイルが生成されます場合は、Filebeatレジストリファイルが非常に大きくなっています。今回は、あなたが（を参照することができ、「レジストリファイルと呼ばれるセクションでは大きすぎる？編集この問題を解決するために、）。

インストールfilebeatサービス

キーファイルをダウンロードしてインストール

RPM --import https://packages.elastic.co/GPG-KEY-elasticsearch

ヤムソースファイルを作成します

[ルート@ localhostの〜]＃vimの/etc/yum.repos.d/elk-elasticsearch.repo 
[弾性-5.xの] 
名= 5.xのパッケージ用弾性リポジトリ
BASEURL = HTTPS：//artifacts.elastic.co/パッケージ/ 5.xの/ yumを
gpgcheck = 1 
gpgkey = HTTPS：//artifacts.elastic.co/GPG-KEY-elasticsearch 
有効= 1つの
自動リフレッシュ= 1つの
タイプ= RPM-MD

インストールを開始します

yumをfilebeatをインストール

サービスを開始

開始systemctl filebeat 
systemctl状態filebeat

ログを収集します

ここでは、まず、単純にfilebeatプロフィールを書く方法を説明するために、例えば、ドッカログを収集します。詳細は以下のとおりです。

[ルート@ localhostのは〜]＃のはgrep "^ \ sの* [^＃の\ tの] * $。" /etc/filebeat/filebeat.yml 
filebeat.prospectors：
- INPUT_TYPE：ログ
  パスを：
    -の/ var / libに/ドッキングウィンドウ/コンテナ/*/*.log 
output.elasticsearch：
  ホスト：[ "192.168.58.128:9200"]

そして、私たちは次のようになり、実際には多くのコンテンツがありません。我々は、すべてのコンテナノードのすなわちfilebeatログ、/var/lib/docker/containers/*/*.log集めます。出力位置は、我々が直接ESのではなく、Logstashトランジットで配信ログに記録するサービスのアドレスを、ElasticSearchということです。

再起動する前に、我々はまた、出力elasticsearch filebeatそのログデータは、プロパティとフィールドが含まれているものを知っているので、ESにfilebeatインデックステンプレートを提出する必要があります。あなたがあなた自身を記述することなく、そこにこのファイルをインストールした後filebeat.template.json、あなたは生徒が見つけることに目を通すことができます見つけることができません。でelasticsearchへの負荷テンプレート：

[ルート@ localhostの〜]＃カール-XPUT 'http://192.168.58.128:9200/_template/filebeat?pretty' -d@/etc/filebeat/filebeat.template.json 
{ 
  "認めた"：真
}

サービスの再起動

systemctl再起動filebeat

ヒント：あなたが起動した場合filebeatコンテナがあることが必要であるの/ var / libに/ドッキングウィンドウ/コンテナディレクトリを容器に装着されています。

Kibana配置

上記の構成は問題ありません場合は、Kibanaにアクセスすることができますが、ここでは、新しいインデックスパターンを追加する必要があります。「filebeat- *」：Googleのインデックス名またはパターンのように記入しなければならないfilebeatログの輸送のための要件に従ってマニュアル。

おすすめ