logstashプラグインの設定手順-codecプラグインJSONと複数行

コーディングプラグ（CODEC）

コーデックは、（導入された新しいコンセプトバージョン1.3.0の先頭からlogstashあるコーデック  から  共同 DER / 12月の二つの言葉の略語オーデルイニシャル）。

これに先立ち、その後、プレーンテキストのみの入力をlogstash フィルターがそれを処理します。しかし、今、私たちができる入力  データの異なる種類の処理を、それはすべてのためのコーデックの設定でした。

だから、ここでは、補正前の概念を必要とします。Logstashだけではなく、input | filter | output データ・ストリームが、  input | decode | filter | encode | output データのストリーム！コーデックは  、エンコードイベントを復号するために使用されます。

データフォーマットは、このような他の製品グラファイト、流暢、NetFlowの、collectd、及びmsgpackの使用、JSON、EDN他の一般的なデータフォーマットなどの他の自己共存より便利な操作および保守製品、とのより良いlogstashを定義するようにコーデックが導入されます。

実際には、私たちの最初の「Hello World」のユースケースは、使用されている  コーデックを  アップ-  rubydebug  の一種である  コーデック！それは通常のみ設定試験またはデバッグツールとしてSTDOUTプラグインで使用されているが。

JSONを使用してエンコード1、

nginxのログによってケースとして、このテストを使用することを学びます。nginxのは、JSON形式で保存されたログ、設定ファイルを変更します。

1. LOG_FORMATのJSON '{ "@timestamp"： "$のtime_iso8601"、'
2. ' "@version"： "1"、'
3. ' "ホスト"： "$のSERVER_ADDR"、'
4. ' "クライアント"： "$のREMOTE_ADDR"、'
5. ' "サイズ"：$のbody_bytes_sent'
6. ' "RESPONSETIME"：$のREQUEST_TIME'
7. ' "ドメイン"： "$ホスト"、'
8. ' "URL"： "$のURI"、'
9. ' "ステータス"： "$ステータス"}' ;
10. access_logの/ ログ/ nginxの/ アクセス。JSONを記録。

nginxのを有効にするには再起動してください。

テストに使用logstashプロファイルwebnginx.confの設定：

1. 入力{
2. ファイル{
3. パス=> "/logs/nginx/access.log"
4. タイプ=> "nginxの"
5. START_POSITION => "始まり"
6. add_field => { "キー" => "値" }
7. コーデック=> "JSON"
8. }
9.  
10. }
11. 出力{
12. 標準出力{
13. コーデック=> rubydebug { }
14. }
15. }

logstashスタートアップテストをロードします。

1. logstash - F webnginx 。confに

以下に示す試験用アドレスにアクセス（私はwww.elk.com仮想マシンを対象としますここをnginxの存在）

1. {
2. "タイプ" => "nginxの" 、
3. "URL" => "/app/panels/timepicker/module.html" 、
4. "タグ" => []、
5. "パス" => "/logs/nginx/access.log" 、
6. "@timestamp" => 2017年- 02 - 13T17 ：02 ：47.000Z 、
7. "サイズ" => 2397 、
8. "ドメイン" => "www.elk.com" 、
9. "@version" => "1" 、
10. "ホスト" => "192.168.1.104" 、
11. "クライアント" => "192.168.2.16" 、
12. "RESPONSETIME" => 0.0 、
13. "キー" => "値" 、
14. "状態" => "200"
15. }
16.  

追加情報：
その後、フィルターでlogstashに変更統一記録フォーマット文字列の書式を（すなわち、二重引用符「を入れている）ログ/数値型、文字フィールドの値の型でなければなりませんウィジェット変異させます。

データの複数の行と2、（複数）

いくつかのケースでは、アプリケーションのデバッグログは、コンテンツの富が含まれますイベントとして多くの行の内容をプリントアウトします。このログは通常、コマンドラインの解析により解析を行うことは非常に困難です。logstashはその準備ができているの  コーデック/複数行の  プラグを。テスト：

1. 入力{
2. 標準入力{
3. コーデック=> マルチ{
4. パターン=> "^ \の["
5. 否定=> 真
6. 何=> 「前の」
7. }
9. }
10. }
11. 出力{
12. 標準出力{
13. コーデック=> rubydebug { }
14. }
15. }
16.  

ロード：multiline.conf -f logstash
次のような効果があります

1. こんにちは世界
2. こんにちはlogstash
3. こんにちは、複数行
4. [
5. {
6. "@timestamp" => 2017年- 02 - 13T17 ：29 ：47.658Z 、
7. "@version" => "1" 、
8. "ホスト" => "0.0.0.0" 、
9. "メッセージ" => "[\世界nhello \ nhello logstash \ nhello複数行" 、
10. "タグ" => [
11. [ 0 ] "マルチ"
12. ]
13. }
14.  

このプラグインの原理は、非常に単純で、現在の行は、これまで定期的に[新規^ \と一致するまで、フロントラインの背後にある現在の行にデータを追加することです。この正規表現はまた、GROKを使用することができます。

参考記事：
http://kibana.logstash.es/content/logstash/plugins/codec/multiline.html