ELKのLogstash（拡張プラグインのデプロイ、使用、構成）

その他 2021-02-27 02:37:02 訪問数: null

Logstashとは何ですか？

  • データの収集、処理、送信のためのツールです
  • 機能
    -すべてのタイプのデータの集中処理
    -さまざまなモードと形式でのデータの正規化-
    カスタムログ形式の迅速な拡張
    -カスタムデータソース用のプラグインを簡単に追加
  • Logstashのインストール
    -LogstashはJava環境に依存しており、java-1.8.0-openjdkをインストールする
    必要があります
    -Logstashにはデフォルトの構成ファイルがないため、手動で構成する必要があります-Logstashは/ opt / logstashディレクトリにインストールされます
  • Logstashの作業構造
    {データソース} ==>
    ~~入力{} = =>
    ~~~~フィルター{} = =>
    〜~~~~~出力{} = =>
    〜~~~~~~~~~ ~~ {ES}
Logstashのタイプと状態の判断

  • Logstashのタイプ
    –ブール値タイプ：ssl_enable => true
    –バイトタイプ：bytes =>“ 1MiB”
    –文字列タイプ：name =>“ xkops”
    –数値タイプ：post => 22
    –配列：match => ["Datetime" 、 "UNIX"]-
    ハッシュ：options => {k => "v"、k2 => "v2"}-
    エンコードとデコード：codec => "json"
    -Path：file_path => "/ tmp / filename"
    –コメント：＃

  • Logstash条件の判断-等しい
    ：==
    –等しくない：！=
    –より小さい：<
    –より大きい：>
    –以下：<=
    –以上：> =
    –一致する規則性：=〜
    –規則性が一致しない：！〜–
    含む：in
    –含まない：not in
    – and：and
    – or：or
    – not and：nand
    – not or：xor
    –複合式：（）
    –負の複合：！（）

    Logstashのインストールと構成

    サーバーのハードウェア要件：
    • 2CPU 4Gメモリ設定IP：192.168.1.31
[root@logstash ~]# yum -y install java-1.8.0-openjdk  logstash
[root@logstash ~]# java -version

openjdkバージョン「1.8.0_161」
OpenJDKランタイム環境（ビルド1.8.0_161-b14）
OpenJDK 64ビットサーバーVM（ビルド25.161-b14、混合モード）

[root@logstash ~]#  /opt/logstash/bin/logstash  --version
logstash 2.3.4
[root@logstash ~]# /opt/logstash/bin/logstash-plugin  list   //查看插件
...
logstash-input-stdin    //标准输入插件
logstash-output-stdout    //标准输出插件
...
[root@logstash ~]# cd /etc/logstash
[root@logstash ~]# vim logstash.conf
input{
    
    
	stdin {
    
    }
}
filter {
    
    }
output{
    
    
	stdout {
    
    }
}
[root@logstash ~]# ls /opt/logstash
[root@logstash ~]# ls /opt/logstash/bin
[root@logstash ~]# /opt/logstash/bin/logstash -h   // 查看帮助信息
[root@logstash ~]# /opt/logstash/bin/logstash -f logstash
出现 main started 表示启动成功

注：構成ファイルの作成方法がわからない場合は、ヘルプを見つけることができます。プラグインのドキュメントの場所：

ヘルプファイルのアドレスリンクをクリックします

コーデックプラグイン
[root@logstash ~]# vim /etc/logstash/logstash.conf

input{
    
    
    stdin{
    
    
    codec => "json"        //输入设置为编码json
   }
}
filter{
    
    
}
output{
    
    
    stdout{
    
    
    codec => "rubydebug"        //输出设置为rubydebug
   }
}
[root@logstash ~]#  /opt/logstash/bin/logstash -f /etc/logstash/logstash.conf 
Settings: Default pipeline workers: 2
Pipeline main started
{
    
    "a":1}
{
    
    
             "a" => 1,
      "@version" => "1",
    "@timestamp" => "2019-03-12T03:25:58.778Z",
          "host" => "logstash"
}
ファイルモジュールプラグイン

[root @ logstash〜] ＃vim /etc/logstash/logstash.conf
input { file { path => [“ /tmp/a.log”、“ /tmp/b.log”] sincedb_path =>“ / var / lib / logstash / sincedb "//ファイルが読み取られる位置を記録しますstart_position =>" beginning "//ファイルを初めて読み取る場所を構成しますtype =>" testlog "// Type name } } filter { } output { stdout { codec =>“ ruby​​debug” } } [root @ logstash〜] ＃touch /tmp/a.log [root @ logstash〜] ＃touch /tmp/b.log [root @ logstash〜]＃/ opt / logstash / bin / logstash -f /etc/logstash/logstash.conf
















  • 別の端末を開く：データを書き込む

[root @ logstash〜] ＃echo a1> /tmp/a.log
[root @ logstash〜] ＃echo b1> /var/tmp/b.log

  • 回到之前的终端查看：
    [root @ logstash〜]＃/ opt / logstash / bin / logstash -f /etc/logstash/logstash.conf
    設定：デフォルトのパイプラインワーカー：2
    パイプラインメインが開始されました
    { “ message” =>“ a1 ”、“ @ version” =>“ 1”、“ @timestamp” =>“ 2019-03-12T03：40：24.111Z”、“ path” =>“ /tmp/a.log”、“ host” => “ logstash”、“ type” =>“ testlog” } { “ message” =>“ b1”、“ @version” =>“ 1”、“ @timestamp” =>“ 2019-03-12T03：40：49.167Z ”、“ path” =>“ /tmp/b.log”、“ host” =>“ logstash”、“ type” =>“ testlog” }














フィルタgrokプラグイン

grokプラグイン：
さまざまな非構造化ログデータプラグインの解析
grokは、正規表現を使用して構造化データを構造化します。
グループマッチングでは、特定のデータ構造に従って正規表現を記述する必要があります。
記述は困難ですが、範囲が広いです。適用の。
Apacheのログ
[ES1ルート@〜]＃yumをインストールhttpdの-Y
[ルートES1 @〜]＃systemctl再起動httpdの

  • ブラウザがWebページにアクセスし、/ var / log / httpd / access_logにログがあります
[root@es5 ~]# cat /var/log/httpd/access_log
192.168.1.254 - - [12/Mar/2019:11:51:31 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
[root@logstash ~]#  vim /etc/logstash/logstash.conf
input{
    
    
    file {
    
    
      path           => [ "/tmp/a.log", "/tmp/b.log" ]
      sincedb_path   => "/var/lib/logstash/sincedb"
      start_position => "beginning"
      type           => "testlog"
   }
}
filter{
    
    
    grok{
    
    
       match => [ "message",  "(?<key>reg)" ]
    }
}
output{
    
    
    stdout{
    
    
    codec => "rubydebug"
   }
}
复制/var/log/httpd/access_log的日志到logstash下的/tmp/a.log
[root@logstash ~]# vim /tmp/a.log
192.168.1.254 - - [15/Sep/2018:18:25:46 +0800] "GET / HTTP/1.1" 403 4897 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0"
[root@logstash ~]#  /opt/logstash/bin/logstash -f  /etc/logstash/logstash.conf
//出现message的日志，但是没有解析是什么意思
Settings: Default pipeline workers: 2
Pipeline main started
{
    
    
       "message" => ".168.1.254 - - [15/Sep/2018:18:25:46 +0800] \"GET / HTTP/1.1\" 403 4897 \"-\" \"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0\"",
      "@version" => "1",
    "@timestamp" => "2018-09-15T10:26:51.335Z",
          "path" => "/tmp/a.log",
          "host" => "logstash",
          "type" => "testlog",
          "tags" => [
        [0] "_grokparsefailure"
    ]
}

-分析が行われないという問題を解決するには、同じ方法でログを/tmp/a.logにコピーし、logstash.conf構成ファイルのgrokを変更します。

  • 通常のマクロパスを見つける
[root@logstash ~]# cd  /opt/logstash/vendor/bundle/ \ 
jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/
[root@logstash ~]# vim grok-patterns  //查找COMBINEDAPACHELOG
COMBINEDAPACHELOG %{
    
    COMMONAPACHELOG} %{
    
    QS:referrer} %{
    
    QS:agent}
[root@logstash ~]#  vim /etc/logstash/logstash.conf
...
filter{
    
    
   grok{
    
    
        match => ["message", "%{COMBINEDAPACHELOG}"]
  }
}
...
  • 解析結果
 [root@logstash ~]#  /opt/logstash/bin/logstash -f  /etc/logstash/logstash.conf  
Settings: Default pipeline workers: 2
Pipeline main started
{
    
    
        "message" => "192.168.1.254 - - [15/Sep/2018:18:25:46 +0800] \"GET /noindex/css/open-sans.css HTTP/1.1\" 200 5081 \"http://192.168.1.65/\" \"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0\"",
       "@version" => "1",
     "@timestamp" => "2018-09-15T10:55:57.743Z",
           "path" => "/tmp/a.log",
ZZ           "host" => "logstash",
           "type" => "testlog",
       "clientip" => "192.168.1.254",
          "ident" => "-",
           "auth" => "-",
      "timestamp" => "15/Sep/2019:18:25:46 +0800",
           "verb" => "GET",
        "request" => "/noindex/css/open-sans.css",
    "httpversion" => "1.1",
       "response" => "200",
          "bytes" => "5081",
       "referrer" => "\"http://192.168.1.65/\"",
          "agent" => "\"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0\""
}
...
ステップ2：Apacheサービスをインストールし、filebeatを使用してApacheサーバーログを収集し、elasticsearchに保存します
  • 1）Apacheが以前にインストールされたホストにfilebeatをインストールします
[root@se5 ~]#  yum -y install filebeat
[root@se5 ~]#  vim/etc/filebeat/filebeat.yml  
paths:
    - /var/log/httpd/access_log   //日志的路径，短横线加空格代表yml格式
document_type: apachelog    //文档类型
elasticsearch:        //加上注释
hosts: ["localhost:9200"]                //加上注释
logstash:                    //去掉注释
hosts: ["192.168.1.57:5044"]     //去掉注释,logstash那台主机的ip
[root@se5 ~]# systemctl start filebeat
[root@logstash ~]#  vim /etc/logstash/logstash.conf
input{
    
    
        stdin{
    
     codec => "json" }
        beats{
    
    
            port => 5044
}
  file {
    
    
    path          => [ "/tmp/a.log", "/tmp/b.log" ]
   sincedb_path   => "/var/lib/logstash/sincedb"
   start_position => "beginning"
   type           => "testlog"
  }
filter{
    
    
if [type] == "apachelog"{
    
    
   grok{
    
    
        match => ["message", "%{COMBINEDAPACHELOG}"]
  }}
}
output{
    
    
      stdout{
    
     codec => "rubydebug" }
      if [type] == "filelog"{
    
    
      elasticsearch {
    
    
          hosts => ["192.168.1.51:9200", "192.168.1.52:9200"]
          index => "filelog"
          flush_size => 2000
          idle_flush_time => 10
      }}
}
 [root@logstash logstash]#  /opt/logstash/bin/logstash  \ 
-f  /etc/logstash/logstash.conf
  • 別のターミナルを開いて、5044が正常に開始されたかどうかを確認します
[root@logstash ~]#  netstat -antup | grep 5044
tcp6       0      0 :::5044                 :::*                    LISTEN      23776/java
[root@se5 ~]#  firefox 192.168.1.55   //ip为安装filebeat的那台机器
回到原来的终端，有数据

2）修改logstash.conf文件

[root@logstash logstash]# vim logstash.conf
...
output{
    
    
      stdout{
    
     codec => "rubydebug" }
      if [type] == "apachelog"{
    
    
      elasticsearch {
    
    
          hosts => ["192.168.1.51:9200", "192.168.1.52:9200"]
          index => "apachelog"
          flush_size => 2000
          idle_flush_time => 10
      }}
}
  • ブラウザはElasticsearchにアクセスし、図-20に示すようにapachelogがあります。
[student@room9pc01 ~]$ firefox http://192.168.1.55:9200/_plugin/head

おすすめ

転載: blog.csdn.net/weixin_45942735/article/details/104345148
おすすめ
ランキング
Web側のオンラインクラウド編集ソリューション
2つのシナリオでのJVMチューニングケース（基本テンプレートの概要-G1）-ピット概要ハイライト21を踏む（週に1回更新）
Node Sass は現在の環境のバインディングを見つけることができませんでした
RabbitMQのコマンドラインの使用方法は、手動でキューrabbitmqadminを作成します
币圈韭菜十大致命操作（八）热爱幻想，无视现实
Wide Face+YOLOV7 顔検出
shrioの研究ノート
Eclipseは「：不明なMavenの設定の問題」を示します
6512. [3.18] GDOI2020シミュレーションツリーとパス
不像总结的总结
アーカイブ
もっと
2024-05-07(34)
2024-05-06(6)
2024-05-05(0)
2024-05-04(18)
2024-05-03(8)
2024-05-02(0)
2024-05-01(4)
2024-04-30(35)
2024-04-29(5)
2024-04-28(12)

コードワールド

© 2018 codetd.com