ELKログ分析プラットフォーム（2）-logstashデータ収集

その他 2021-03-20 09:40:26 訪問数: null

logstashデータ収集

1.logstashの概要

  • Logstashは、オープンソースのサーバー側データ処理パイプラインです。
    Logstashには200以上のプラグインがあり、複数のソースから同時にデータを収集し、データを変換してから、お気に入りの「リポジトリ」にデータを送信できます。（それらのほとんどはElasticsearchです。）
    Logstashパイプラインには、入力と出力の2つの必須要素と、オプションの要素フィルターがあります。

  • 入力：さまざまなスタイル、サイズ、およびソースでデータを収集します
    -Logstashは、多くの一般的なソースからイベントをキャプチャしながら、さまざまな入力オプションをサポートします。
    -継続的なストリーミングモードで、ログ、メトリクス、ウェブアプリケーション、データストレージ、さまざまなAWSサービスからデータを簡単に収集できます。

ここに画像の説明を挿入します

  • 入力：さまざまなスタイル、サイズ、ソースのデータを収集します

    • Logstashは、多くの一般的なソースからイベントをキャプチャしながら、さまざまな入力オプションをサポートしています。
    • 連続ストリーミングモードでは、ログ、メトリクス、ウェブアプリケーション、データストレージ、さまざまなAWSサービスからデータを簡単に収集できます。

  • フィルタ：データをリアルタイムで分析および変換します

    • Logstashフィルターは、ソースからリポジトリーへのデータの転送中に、イベントを解析し、名前付きフィールドを識別して構造を構築し、それらを共通の形式に変換して、ビジネス価値の分析と実現をより簡単かつ迅速に行うことができます。
      • Grokを使用して、非構造化データから構造を導出します
      • IPアドレスから地理座標を解読する
      • PIIデータを匿名化し、機密フィールドを完全に除外します
      • データソース、フォーマット、アーキテクチャに関係なく、全体的な処理を簡素化します

  • 出力：リポジトリを選択し、データをエクスポートします

    • Elasticsearchは私たちの好ましい出力方向であり、検索と分析に無限の可能性をもたらすことができますが、それが唯一の選択肢ではありません。
    • Logstashには多くの出力オプションがあり、指定したい場所にデータを送信でき、多くのダウンストリームユースケースのロックを柔軟に解除できます。

2. Logstashのインストールと構成（新しい仮想マシンを開く）

2.1ソフトウェアのダウンロード

公式サイト

[root@server16 ~]# ll  ##官网下载
total 334812
-rw-r--r-- 1 root root 170023183 Sep  5  2018 jdk-8u181-linux-x64.rpm
-rw-r--r-- 1 root root 172821011 Mar 12  2020 logstash-7.6.1.rpm

ここに画像の説明を挿入します

2.2ソフトウェアのインストール

[root@server16 ~]# rpm -ivh jdk-8u181-linux-x64.rpm
[root@server16 ~]# rpm -ivh logstash-7.6.1.rpm

ここに画像の説明を挿入します

2.3環境変数を構成する

[root@server16 opt]# cd /usr/share/logstash/
[root@server16 logstash]# ls
bin           Gemfile       LICENSE.txt               modules     vendor
CONTRIBUTORS  Gemfile.lock  logstash-core             NOTICE.TXT  x-pack
data          lib           logstash-core-plugin-api  tools
[root@server16 logstash]# cd bin/
[root@server16 bin]# ls
benchmark.sh         logstash               logstash.lib.sh      pqrepair
cpdump               logstash.bat           logstash-plugin      ruby
dependencies-report  logstash-keystore      logstash-plugin.bat  setup.bat
ingest-convert.sh    logstash-keystore.bat  pqcheck              system-install
[root@server16 bin]# pwd
/usr/share/logstash/bin
[root@server16 bin]# cd

[root@server16 ~]# vim .bash_profile
[root@server16 ~]# cat .bash_profile | grep bin
PATH=$PATH:$HOME/bin:/usr/share/logstash/bin
[root@server16 ~]# source .bash_profile
[root@server16 ~]# which logstash
/usr/share/logstash/bin/logstash

ここに画像の説明を挿入します

2.4標準入力から標準出力へ（コマンド）

[root@server16 ~]# logstash -e 'input { stdin { }} output { stdout {} }'  ##标准输入输出，键盘输入，屏幕输出。ctrl+c退出

ここに画像の説明を挿入します
ここに画像の説明を挿入します

3.ファイル出力プラグイン

3.1標準入力と標準出力（ファイル）

[root@server16 ~]# cd /etc/logstash/
[root@server16 logstash]# ls
conf.d       log4j2.properties     logstash.yml   startup.options
jvm.options  logstash-sample.conf  pipelines.yml
[root@server16 logstash]# cd conf.d/   ##目录下任意的conf文件都可以执行
[root@server16 conf.d]# ls
[root@server16 conf.d]# vim test.conf
[root@server16 conf.d]# cat test.conf 
input {
    
    
  stdin {
    
    }
}

output {
    
    
  stdout {
    
    }
}
[root@server16 conf.d]# logstash -f /etc/logstash/conf.d/test.conf   ##执行文件

ここに画像の説明を挿入します

ここに画像の説明を挿入します
ここに画像の説明を挿入します

ここに画像の説明を挿入します

3.2ファイルへの標準入力

[root@server16 conf.d]# vim test.conf 
[root@server16 conf.d]# cat test.conf   ##输入到文件
input {
    
    
        stdin {
    
     }
}
output {
    
    
     	stdout {
    
    }
     	file {
    
    
                path => "/tmp/testfile"
                codec => line {
    
     format => "custom format: %{message}"}
        }
}
[root@server16 conf.d]# logstash -f /etc/logstash/conf.d/test.conf 运行
[root@server16 conf.d]# cat /tmp/testfile    ##查看文件内容
custom format: hello

ここに画像の説明を挿入します
ここに画像の説明を挿入します
ここに画像の説明を挿入します

3.3ファイルに入力されたコンテンツを表示する

3.3.1コンテンツの表示

## 文件需要确保权限是可以读的，例如：chmod 644 /var/log/message
[root@server16 conf.d]# vim test.conf 
[root@server16 conf.d]# cat test.conf 
input {
    
    
        file {
    
    
 	path => "/tmp/testfile"
	start_position => "beginning"    ##从头开始显示，end从末尾显示，默认是end
	}
}
output {
    
    
     	stdout {
    
    }
     	#file {
    
    
        #        path => "/tmp/testfile"
        #        codec => line { format => "custom format: %{message}"}
        #}
}
[root@server16 conf.d]# logstash -f /etc/logstash/conf.d/test.conf

ここに画像の説明を挿入します
ここに画像の説明を挿入します

3.3.2補足

- sincedb文件内容解释
  # cat .sincedb_*
	sincedb文件一共6个字段
		1.inode编号
		2.文件系统的主要设备号
		3.文件系统的次要设备号
		4.文件中的当前字节偏移量
		5.最后一个活动时间戳（浮点数）
		6.与此记录匹配的最后一个已知路径

##logstash如何区分设备、文件名、文件的不同版本，logstash会把进度保存到sincedb文件中
[root@server16 conf.d]# cd /usr/share/logstash/
[root@server16 logstash]# ls
bin           Gemfile       LICENSE.txt               modules     vendor
CONTRIBUTORS  Gemfile.lock  logstash-core             NOTICE.TXT  x-pack
data          lib           logstash-core-plugin-api  tools
[root@server16 logstash]# cd data/plugins/inputs/file/
[root@server16 file]# ls
[root@server16 file]# l.
.  ..  .sincedb_7fccf970aa3e421aa73e89ca5c260abf
[root@server16 file]# cat .sincedb_*
17747495 0 64768 21 1615281055.0049129 /tmp/testfile   ##修改过的文件

ここに画像の説明を挿入します

3.4ファイルの内容をesホストに出力します

公式ウェブサイトのプラグインリンクを見る

[root@server2 ~]# systemctl start elasticsearch.service   ##首先将各个主机的es服务打开
[root@server2 ~]# cd elasticsearch-head-master/
[root@server2 elasticsearch-head-master]# cnpm run start &   ##启动web界面


[root@server6 ~]# cd /etc/logstash/
[root@server6 logstash]# cd conf.d/
[root@server6 conf.d]# ls
test.conf
[root@server6 conf.d]# vim test.conf 
[root@server6 conf.d]# cat test.conf 
input {
    
    
        file {
    
    
 	path => "/var/log/messages"
	start_position => "beginning"
	}
}
output {
    
    
     	stdout {
    
    }
     	#file {
    
    
        #        path => "/tmp/testfile"
        #        codec => line { format => "custom format: %{message}"}
        #}
	elasticsearch {
    
    
	hosts => ["172.25.13.2:9200"]
	index => "syslog-%{+yyyy.MM.dd}"
	}
}
[root@server6 conf.d]# pwd
/etc/logstash/conf.d
[root@server6 conf.d]# logstash -f /etc/logstash/conf.d/test.conf   ##运行去网页查看采集到的日志

ここに画像の説明を挿入します

ここに画像の説明を挿入します
ここに画像の説明を挿入します

3.5Syslog入力プラグイン

- logstash可以伪装成日志服务器，直接接受远程日志。

[root@server4 ~]# vim /etc/rsyslog.conf     
[root@server4 ~]# cat /etc/rsyslog.conf  | grep  @@172.25.13.6:514  ##将系统日志输出到172.25.13.6的主机
*.* @@172.25.13.6:514
[root@server5 ~]# vim /etc/rsyslog.conf
[root@server5 ~]# cat /etc/rsyslog.conf  | grep  @@172.25.13.6:514  ##将系统日志输出到172.25.13.6的主机
*.* @@172.25.13.6:514
[root@server4 ~]# systemctl restart rsyslog.service    ##重启
[root@server5 ~]# systemctl restart rsyslog.service    ##重启


[root@server6 conf.d]# cat syslog.conf 
input {
    
    
	syslog {
    
    }
}
output {
    
    

	stdout {
    
    }
	elasticsearch {
    
    
        hosts => ["172.25.13.2:9200"]
        index => "message-%{+yyyy.MM.dd}"
        }
	
}


[root@server6 conf.d]# logstash -f /etc/logstash/conf.d/syslog.conf  ##应用
[root@server4 ~]# logger hello  ##在server4和server5运行日志数据，查看web结果

ここに画像の説明を挿入します

ここに画像の説明を挿入します
ここに画像の説明を挿入します
ここに画像の説明を挿入します
ここに画像の説明を挿入します

3.6マルチラインフィルタリングプラグインコーデック

- 多行过滤可以把多行日志记录合并为一行事件

[root@server4 elasticsearch]# pwd
/var/log/elasticsearch
[root@server4 elasticsearch]# scp my-es.log server6:/var/log/  ##拷贝一份es日志文件

[root@server6 conf.d]# vim test.conf 
[root@server6 conf.d]# cat test.conf    
input {
    
    
        file {
    
    
 	path => "/var/log/my-es.log"     ##读取文件,文件权限必须有读
	start_position => "beginning"
	codec => multiline {
    
    
          pattern => "^\["
          negate => "true"
          what => "previous" 
        }
      }

}
output {
    
    
     	#stdout {}
     	#file {
    
    
        #        path => "/tmp/testfile"
        #        codec => line { format => "custom format: %{message}"}
        #}
	elasticsearch {
    
    
	hosts => ["172.25.13.2:9200"]
	index => "message-%{+yyyy.MM.dd}"
	}
}
[root@server6 conf.d]# logstash -f /etc/logstash/conf.d/test.conf  ##应用

ここに画像の説明を挿入します

ここに画像の説明を挿入します

ここに画像の説明を挿入します
ここに画像の説明を挿入します

ここに画像の説明を挿入します

3.7複数回実行しても表示されないエラーの解決策

[root@server6 conf.d]# cd /usr/share/logstash/data/plugins/inputs/file/
[root@server6 file]# ls
[root@server6 file]# ls -a 
.  ..  .sincedb_13f094911fdac7ab3fa6f4c93fee6639  .sincedb_452905a167cf4509fd08acb964fdb20c
[root@server6 file]# cat .sincedb_*
51333969 0 64768 139573 1615344160.0945382 /var/log/my-es.log
51020273 0 64768 178545 1615339859.532701 /var/log/messages

ここに画像の説明を挿入します

3.8grokフィルタープラグイン

[root@server6 conf.d]# yum install httpd -y   ##安装httpd，过滤日志信息
[root@server6 conf.d]# systemctl start httpd.service 
[root@server6 conf.d]# cd /var/www/html/
[root@server6 html]# echo server6 > index.html
[root@server6 conf.d]# vim /etc/httpd/conf/httpd.conf   ##查看日志采集格式


[root@westos ~]# ab -c1 -n 100  http://172.25.13.6/index.html  ##真机压测获取访问数据

[root@server6 conf.d]# pwd 
/etc/logstash/conf.d
[root@server6 conf.d]# cat appach.conf    ##书写配置文件
input {
    
    
        file {
    
    
 	path => "/var/log/httpd/access_log"
	start_position => "beginning"
        }
      }

filter {
    
    
      grok {
    
    
        match => {
    
     "message" => "%{HTTPD_COMBINEDLOG}" }   ##过滤信息
      }
}

output {
    
    
	elasticsearch {
    
    
	hosts => ["172.25.13.2:9200"]
	index => "apache-%{+yyyy.MM.dd}"
	}
}
[root@server6 conf.d]# logstash -f /etc/logstash/conf.d/apache.conf  ##运行,报错可以查看错误信息

ここに画像の説明を挿入します
ここに画像の説明を挿入します

ここに画像の説明を挿入します

ここに画像の説明を挿入します
ここに画像の説明を挿入します
ここに画像の説明を挿入します

ここに画像の説明を挿入します

ここに画像の説明を挿入します
ここに画像の説明を挿入します

おすすめ

転載: blog.csdn.net/qwerty1372431588/article/details/114584688
おすすめ
TIOBE 5 月リスト: Fortran がトップ 10 に「復活」
GCC 14.1 发布
ランキング
Linuxの一般的なコマンドの緊急対応
FPGAの設計者は、5つの基本的なスキルです
Javaの研究では、2019年6月12日ノート
Golang底层原理剖析之内存逃逸
VIM - Viは、プログラマーのテキストエディタを改善しました
魔法書（MagicTable）入門チュートリアルは、CADの一括転送複数のテーブルExcelをExcelを回し--CAD
mockitoとの望ましくないモック
EVE-NG MPLS L2VPN BGP pw -- スタティック ルート、スタティック mpls lsp
抵抗性タッチスクリーンドライバ（II）
PHP 安装扩展 Api Version 和扩展extensions路径不匹配的问题
アーカイブ
もっと
2024-05-08(18)
2024-05-07(34)
2024-05-06(6)
2024-05-05(0)
2024-05-04(18)
2024-05-03(8)
2024-05-02(0)
2024-05-01(4)
2024-04-30(35)
2024-04-29(5)

コードワールド

© 2018 codetd.com