ELK は複数の Docker コンテナー ログを収集します (12)

一緒に創造し、成長するために一緒に働きましょう！「ナゲッツデイリー新プラン・8月アップデートチャレンジ」参加27日目、イベント詳細はこちら

filebeat はコンテナ ログを収集します

現在、多くの企業が docker コンテナーを使用してサービスを実行しています. 1 台のマシンに多数の docker が存在することになります. docker コンテナー内のログも収集および分析する必要があります. Filebeat には、docker コンテナー用のログ収集スキームもあります.

公式設定アドレスwww.elastic.co/guide/en/be…

1.ドッカーをデプロイする

1.安装docker
[root@docker ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
[root@docker ~]# sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#' /etc/yum.repos.d/docker-ce.repo
[root@docker ~]# yum -y install docker-ce
[root@docker ~]#  tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"]
}
EOF
{
  "registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"]
}


2.启动docker
[root@docker ~]# systemctl start docker

3.运行一个nginx容器
[root@docker ~]# docker run -d -p 888:80 nginx

4.查看容器日志路径，这个日志就是容器里面程序的日志
[root@docker ~]# docker inspect compassionate_mayer | grep log
        "LogPath": "/var/lib/docker/containers/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb-json.log",

复制代码

2. 単一の Docker コンテナー ログを収集するように filebeat を構成する

2.1. filebeat の設定

1.配置filebeat
[root@docker /etc/filebeat]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
  containers.ids:
    - '7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb'			#填写容器的id

output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
  index: "docker-nginx-%{+yyyy.MM.dd}"
  
setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true

2.重启filebeat
[root@docker /etc/filebeat]# systemctl restart filebeat.service
复制代码

2.2. es がインデックスを生成したかどうかを確認する

2.3. Kibana 関連 es のインデックス

管理をクリックします---インデックスの作成

2.4. 収集したログを表示する

検出をクリックします---インデックスを選択します

今回収集した docker コンテナのログはあまり細分化されておらず、このログも json 形式ですが、docker はデフォルトで値を入れています。

フォーマットされたログ

3. 複数のコンテナー ログを収集するように filebeat を構成する

3.1. 複数の Docker の実行

[root@docker ~]# docker run -d -p 999:80 nginx
[root@docker ~]# docker run -d -p 888:80 nginx
复制代码

3.2. filebeat の設定

[root@docker ~]# grep -Ev '#|^$' /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
  containers:
    path: "/var/lib/docker/containers"			#docker容器日志的路径
    ids:
      - "*"							#如果只想收集一个容器的日志，就写一个容器的id号，如果想收集所有容器的日志则写*
      
output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
  index: "docker-nginx-%{+yyyy.MM.dd}"
  
setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
复制代码

3.3. ログの生成

ab -c 100 -n 5672 http://www.jiangxl.com:999/
ab -c 100 -n 1000 http://www.jiangxl.com:888/

复制代码

3.4. es インデックスにデータが追加されたかどうかを確認する

増えた

3.5.kibana 関連 es インデックス

3.6. 収集されたログが複数のコンテナーからのものであるかどうかを確認する

すでに別のコンテナのログです