Filebeat + Logstashカスタムマルチインデックス

オプション1:推奨

[ルート@ヘラジカノード-1 filebeat]#猫のfilebeat.yml | egrepの-v "^ $ | ^#|#"

filebeat.inputs:

- タイプ:ログ

有効:真

パス:

- /opt/app/nginx/logs/elk.log

フィールド:

サービス:nginxの

- タイプ:ログ

有効:真

パス:

- は/ var / log / cronの

フィールド:

サービス:cronの

filebeat.config.modules:

パス:$ {} path.config /modules.d / * YML。

reload.enabled:偽

setup.template.settings:

index.number_of_shards:1

setup.kibana:

output.logstash:

ホスト:[ "10.0.0.61:5044"]

[ルート@ヘラジカノード-1 filebeat]#

[ルート@ヘラジカノード-1設定]#猫のlogstash.conf

入力{

ビート{

ポート=> "5044"

}

}

出力{

場合、出力位に、出力が「nginxの - %{+ YYYY.MM.DDを}」nginxのに等しい場合

もし[フィールド] [サービス] == "nginxの" {

elasticsearch {

ホスト=> [ "10.0.0.61:9200"]

インデックス=> "テストyunshi-HT-NGIN - %{+ YYYY.MM.DD}"

}

}

 

それ以外の場合は、[フィールド]、[サービス] == "cronの" {

elasticsearch {

ホスト=> [ "10.0.0.61:9200"]

インデックス=> "テストyunshi-HT-クーロン - %{+ YYYY.MM.DD}"

}

}

}

オプションIIは、設定は動作し続けますお勧めしますが、将来的にはlogstashから削除することを計画されていません。ElasticSearch 6.0では、文書タイプが7.0で非推奨と完全に除去されます

 

filebeatを加えDOCUMENT_TYPEの構成を、識別番号定義ログ:INPUT_TYPEを-

 

  クロールとフェッチする必要があります#パス。グロブベースパス。

  パス:

    - /var/logs/xx.log

  DOCUMENT_TYPE:XX

  パス:

    - /data/logs/aa.log

  DOCUMENT_TYPE:AA

 

次いで logstash 構成は、対応するタイプ

出力{

    もし[タイプ] == "XX" {

            elasticsearch {

            ホスト=> [ "* * * *:。。。9200"]

            インデックス=> "XX - %{+ YYYY.MM.DD}"

            DOCUMENT_TYPE => "ログイン"

        }

    }

    [タイプ]は "AA" を{==場合

            elasticsearch {

              ホスト=> [ "* * * *:。。。9200"]

              インデックス=> "AA - %{+ YYYY.MM.DD}"

              DOCUMENT_TYPE => "ログイン"

                }

    }

}

おすすめ

転載: www.cnblogs.com/xy51/p/11208876.html