ELK простые структуры

Окружающая среда (требуется Java среды, JDK) {

　　　　Установка для тестирования Nginx elasticsearch kibana

　　　　logstash

　　}

1. Сначала вытащить пакет, давая предпочтительную конфигурацию среды разработки языка Java Java, CentOS 7 рекомендуется 4G работает память

　　Jdk установки среды, первая машина крепления elasticsearch

2. Измените elasticsearch профиль, настройки сетевого хоста, открытого порта и перезапустить elasticsearch

Примечание: отключить брандмауэр, см порты 9200 и 9300, от имени службы, чтобы начать

3. AnSo kibana

Kibana изменить конфигурацию и начать kibana

Начало см 5601 порт

4. Процедура другой машины logstash

При установке logstash инструмент сбора фильтра, похожем на клиент

　　2. Настройка logstash и перезапуск logstash, Примечание: При мониторинге журналов с разрешения журнала, чтобы добавить

Добавление файла конфигурации системы

вход {
        файл{
                Путь => " / / / сообщения вар журнала " 
                тип => " system_log " 
                начальная_позиция => " начало "
        }
}
выход{
        elasticsearch {
        hosts => ["192.168.189.172:9200"]  #elasticsearch主机的ip
        index => "system_log_%{+YYYY.MM.dd}"
        }
}

注：9600为logstash搜索日志的端口

　　　3.效果出现索引网页输入ip:5601 显示kibana

Extend：原有基础上，监听nginx日志，并启动nginx（此步骤不唯一，可监听多个服务）

logstash机器

1.配置nginx源，yum安装nginx，并启动nginx（可导包解压，方法不唯一，根据实际操作）

 vim /etc/yum.repos.d/nginx.repo

[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
enabled=1

下面步骤安装启动nginx

2.配置logstash配置文件，定义配置规则NIGNXACCESS，用来配置nginx过滤访问日志，记住加权限

cd /usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/

vim nginx_access

URIPARAM1 [A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*
NGINXACCESS %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} 
(%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{NUMBER:status} (?:%{NUMBER:bytes}|-) "(?:%{URI:referrer}|-)"
 "%{GREEDYDATA:agent}"

chmod 644 /var/log/nginx/access.log

vim /etc/logstash/conf.d/system.conf

input{
   file{
        path => "/var/log/messages"
        type => "system_log"
        start_position => "beginning"
   }
   file{
        path => "/var/log/nginx/access.log"
        type => "nginx_log"
        start_position => "beginning"
   }

}

filter{
   if [type] == "nginx_log"{
        grok {
             match => { "message" => "%{NGINXACCESS}" }
        }
   }
}

output{
   if [type] == "nginx_log"{
        elasticsearch{
             hosts => ["10.0.0.41:9200"]
             index => "nginx_log_%{+YYYY.MM.dd}"
        }
   } else {
        elasticsearch{
             hosts => ["10.0.0.41:9200"]
             index => "system_log_%{+YYYY.MM.dd}"
        }
   }
}

systemctl restart logstash

3.切记nginx日志格式是否开启，yum安装日志默认打开

vim /etc/nginx/nginx.conf

4.nginx页面做好后，刷新几次产生日志

ELK простые структуры

рекомендация