Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息

简介:

  • Graylog相对于ELK是较为轻量级的日志管理平台
  • Graylog官网:https://www.graylog.org/
    • Graylog-server:Graylog接收来自后端各种应用程序的日志并提供Web访问接口
    • Graylog Collector Sidecar:负责收集应用程序日志并发送至Graylog-server
      • Elasticsearch:用于索引和保存接收到的日志
      • MongoDB: 负责保存 Graylog 自身的配置信息
      • 通过Graylog来分析Ngnix日志,获取访问者IP,然后使用GeoIP2数据库分析IP的地理位置
    • 访问者IP的地理位置信息是以GeoIP免费版GeoLiteCity数据做为筛选条件,分析访问来源城市,对于我们购买CDN时,具有一定的参考意义

系统环境:

  • 本文不做环境搭建方面的介绍,直接使用docker搭建Graylog环境。
    • CentOS 7.5
    • Graylog-server(服务端,接收日志) IP:192.168.1.2
    • Graylog Collector Sidecar(后端,收集日志) IP:192.168.1.3
    • docker-ce 18.03、docker-compose 1.21.2

一、Graylog搭建


#环境方面直接使用docker搭建,若已有graylog请跳过

git clone https://github.com/JyBigBoss/graylog-nginx.git
cd graylog-nginx
vi docker-compose.yml

#请自行修改docker-compose.yml里面的IP为当前主机IP。
#克隆下来的文件其实就是官方提供的docker安装文档中的。
#这里是因为我需要GeoLiteCity的数据库,所以编写了Dockerfile把数据库放进去了
#官方Docker安装文档:http://docs.graylog.org/en/stable/pages/installation/docker.html

docker-compose up -d

#启动容器

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息

二、配置Graylog接收Nginx日志


#打开graylog的web界面,配置input来源以及Collector配置
#浏览器访问:http://192.168.1.2:9000
#默认账号和密码都为:admin
#首先要配置input来源,也就是收集日志来源

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息


#日志来源配置完成之后开始配置收集日志的collector
#后端的collectors启动的时候会通过graylog的api来匹配自身的tags
#匹配tags之后会生成对应的filebeat的配置文件并开始收集日志

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息


三、配置后端collector收集日志


yum install -y https://github.com/Graylog2/collector-sidecar/releases/download/0.1.6/collector-sidecar-0.1.6-1.x86_64.rpm

#下载collector安装包安装

vi /etc/graylog/collector-sidecar/collector_sidecar.yml

#修改配置文件,需要注意tags和api的路径

graylog-collector-sidecar install

#前台启动collector

head -10 access.log  >>  /var/log/nginx/access.log
#由于我这里没有实际的访问日志,所以就只能用生产环境的日志,cat进去,模拟用户访问生成访问日志

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息

四、利用GeoLiteCity生成IP地理位置信息


#自行下载GeoLiteCity的数据文件,注意是GeoLite2 City,MaxMind DB 二进制格式的数据库
#第一步的时候我已经通过Dockerfile把数据文件放进去了
#下载地址:https://dev.maxmind.com/zh-hans/geoip/geoip2/geolite2/

#首先要配置graylog,让它能够分析出访问者的IP
#然后再通过graylog的插件来生成地图
#这里使用的正则是Grok的:%{COMMONAPACHELOG}
#配置完成后,graylog就会通过GeoLiteCity数据库分析出地理位置信息了
#注意:内网的IP是没有在GeoLiteCity数据库中的

#我建议是去生产环境拷贝一份access日志下来测试
#直接把生产环境的日志cat追加到collector收集的日志文件就好了

Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息
Graylog分析Nginx日志并通过GeoIP2获取访问者IP的地理位置信息

猜你喜欢

转载自blog.51cto.com/bigboss/2135163