日志收集
elk
在node3上操作
docker pull sebp/elk:5610
node3# sysctl vm.max_map_count=262144
node3# docker run -p 5601:5601 -p 9200:9200 -p5044:5044 -it --rm --name elk sebp/elk:5610 #开放相应端口
然后打开 http://192.168.56.13:9200/_search?pretty
下面切换到node1
node1# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.1.1-x86_64.rpm #下载安装filebeat
# rpm -ivh filebeat-6.1.1-x86_64.rpm
# docker run -it -p 80:80 --name ngxin_v2 nginx #运行一台nginx容器
再打开一个会话
node1# vi /etc/filebeat/filebeat.yml #编辑配置文件
修改 24 行为 enabled: true
注释 28 # - /var/log/*.log
在28下新增一行为 - /data/docker/containers/*/*.log
修改 146 行为 hosts: ["192.168.56.13:9200"]
保存退出
node1 # /etc/init.d/filebeat start #启动 filebeat
Starting filebeat (via systemctl): [ OK ]
node1 # /etc/init.d/filebeat status
filebeat.service - filebeat
Loaded: loaded (/usr/lib/systemd/system/filebeat.service; disabled; vendor preset: disabled)
Active: active (running) since Tue 2020-02-25 18:05:39 CST; 6s ago
Docs: https://www.elastic.co/guide/en/beats/filebeat/current/index.html
Main PID: 1765 (filebeat)
Tasks: 7
Memory: 3.9M
CGroup: /system.slice/filebeat.service
└─1765 /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat...
node1# for i in {1..10};do curl 127.0.0.1;done #此时刷新几次127.0.0.1
然后打开 http://192.168.56.13:9200/_search?pretty 刷新几次 直到took的数字有过大于0的状态
然后打开http://192.168.56.13:5601 在kibana中的discover中新增index 值为 filebeat-6.1.1-*，新增貌似刷新不出数据，接下来我们再安装fluentd尝试
切换回node3
node3# mkdir /fluentd_log #新建一个给容器挂在用的目录
node3# docker run -d -p 24224:24224 -p 24224:24224/udp -v /fluentd_log:/fluentd/log fluent/fluentd #-v 挂在本地目录到容器
node3 # netstat -tnlpu #检查24224端口是否已经启动了
下面切换回node1，修改node1的driver
node1# vi /etc/docker/daemon.json #编辑配置文件，在文件最后面增加以下段落
"cluster-advertise": "192.168.56.11:2375",
"log-driver": "fluentd",
"log-opts": {
"fluentd-address":"192.168.56.13:24224",
"tag":"linux-node1.example.com"
}
}
node1# systemctl daemon-reload
node1# systemctl restart docker
重载服务
node1# /etc/init.d/filebeat stop #停掉filebeat
Stopping filebeat (via systemctl): [ OK ]
下面切换到node3上
node3# rpm -ivh filebeat-6.1.1-x86_64.rpm #node3上安装filebeat
node3# vi /etc/filebeat/filebeat.yml
修改 24 行为 enabled: true
修改 28 行为 - /fluentd_log/*.log
保存退出
node3# /etc/init.d/filebeat start #启动进程
Starting filebeat (via systemctl): [ OK ]
node3# /etc/init.d/filebeat status
node3# for i in {1..10};do curl 192.168.56.11;done #此时刷新几次node1
如果步骤提示错误，可以先删除node1上的容器，然后重新建一个就可以了
此时再打开http://192.168.56.13:5601 在kibana中的discover 就可以看到日志了，如果看不到日志
先检查宿主机的时间是否正确
时间间隔选择今天 或者 本周试一下
将 index 之修改为 filebeat-6.1.1-当天或者第二天
如果容器内时间不正确，可以通过下面的方法同步时间
docker cp /usr/share/zoneinfo/Asia rongqiid:/usr/share/zoneinfo/Asia
docker exec rongqiid mkdir /usr/share/zoneinfo -p
docker cp /usr/share/zoneinfo/Asia rongqiid:/usr/share/zoneinfo/Asia
journalctl -u docker.service 查看docker引擎日志
Docker ELK+Filebeat安装与配置
https://www.jianshu.com/p/5df9db5cda8f
Docker ELK+Filebeat安装与配置
https://blog.csdn.net/qq_39284787/article/details/78809538
使用Docker快速部署ELK环境 5.5.1版本
https://blog.csdn.net/gongxsh00/article/details/77001603
yum install lrzsz -y