ELK ваша проблема головной боли, почти решена

Возможно, через несколько недель тестирования, шаг на многочисленных ямах, чтобы подвести итог, все сухие товары, поделиться ~

A, ELK практическое знание резюме

1, Проблемы преобразования кодирования

Проблема, в основном китайские искаженно.

Входной кодек => простая перекодировка:

Кодек => равнина {

кодировка => "GB2312"

}

Кодировка текста GB2312, преобразуется в UTF-8 кодировку.

Кодирование преобразование может быть также достигнуто в filebeat (рекомендуется):

filebeat.prospectors:

- input_type: журнал

пути:

- с: UsersAdministratorDesktopperformanceTrace.txt

Кодирование: GB2312

2, удалить дополнительные строки избыточного журнал

logstash фильтр капли удалены:

если ([сообщение] = ~ "^ 20 *. - запрос задачи, * время начала * ..") {# п с резервированием строк должны быть удалены

падение {}

}

Войти пример:

2018-03-20 10: 44: 01523 [33] ОТЛАДКА отладки - запрос задачи, задачи Id: 1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a, время начала: 2018-03-20 10:43:59 # строка будет удалена

- Запрос строки:

{ "UserName": "15046699923", "Pwd": "ZYjyh727", "DeviceType": 2, "DeviceId": "PC-20170525SADY", "EquipmentNo": "SSID": "компьютер", "RegisterPhones": "AppKey": "ab09d78e3b2c40b789ddfc81674bc24deac", "Версия": "2.0.5.3"} - End

- Строка ответа:

{ "ErrorCode": 0, "Успех": правда, "ErrorMsg": "Результат": "WaitInterval": 30} - Конец

3, Grok обрабатывать много другой строки журнала

Войти пример:

2018-03-20 10: 44: 01523 [33] ОТЛАДКА отладки - запрос задачи, задачи Id: 1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a, время начала: 2018-03-20 10:43:59

- Запрос строки:

- Строка ответа:

{ "ErrorCode": 0, "Успех": правда, "ErrorMsg": "Результат": "WaitInterval": 30} - Конец

В фильтре линии Grok logstash обрабатывали 3:

матч => {

"Сообщение" => ". ^ 20 * - запрос задачи, *, время начала:% {TIMESTAMP_ISO8601: RequestTime}"

матч => {

"message" => "^-- Request String : {"UserName":"%{NUMBER:UserName:int}","Pwd":"(?<Pwd>.*)","DeviceType":%{NUMBER:DeviceType:int},"DeviceId":"(?<DeviceId>.*)","EquipmentNo":(?<EquipmentNo>.*),"SSID":(?<SSID>.*),"RegisterPhones":(?<RegisterPhones>.*),"AppKey":"(?<AppKey>.*)","Version":"(?<Version>.*)"} -- End.*"

}

match => {

"message" => "^-- Response String : {"ErrorCode":%{NUMBER:ErrorCode:int},"Success":(?<Success>[a-z]*),"ErrorMsg":(?<ErrorMsg>.*),"Result":(?<Result>.*),"WaitInterval":%{NUMBER:WaitInterval:int}} -- End.*"

}

... 等多行

4、日志多行合并处理—multiline插件（重点）

Пример:

① Вход

2018-03-20 10: 44: 01523 [33] ОТЛАДКА отладки - запрос задачи, задачи Id: 1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a, время начала: 2018-03-20 10:43:59

- Запрос строки:

- Строка ответа:

{ "ErrorCode": 0, "Успех": правда, "ErrorMsg": "Результат": "WaitInterval": 30} - Конец

②logstash лечение Grok нескольких линий после слияния. Объединенные множественные линии следуют тем же, следующим образом:

фильтр {

Grok {

матч => {

"message" => "^%{TIMESTAMP_ISO8601:InsertTime} .*- task request,.*,start time:%{TIMESTAMP_ISO8601:RequestTime} -- Request String : {"UserName":"%{NUMBER:UserName:int}","Pwd":"(?<Pwd>.*)","DeviceType":%{NUMBER:DeviceType:int},"DeviceId":"(?<DeviceId>.*)","EquipmentNo":(?<EquipmentNo>.*),"SSID":(?<SSID>.*),"RegisterPhones":(?<RegisterPhones>.*),"AppKey":"(?<AppKey>.*)","Version":"(?<Version>.*)"} -- End -- Response String : {"ErrorCode":%{NUMBER:ErrorCode:int},"Success":(?<Success>[a-z]*),"ErrorMsg":(?<ErrorMsg>.*),"Result":(?<Result>.*),"WaitInterval":%{NUMBER:WaitInterval:int}} -- End"

}

在filebeat中使用multiline插件（推荐）：

①介绍multiline

pattern：正则匹配从哪行合并；
negate：true/false，匹配到pattern 部分开始合并，还是不配到的合并。

match：after/before（需自己理解）

after：匹配到pattern 部分后合并，注意：这种情况最后一行日志不会被匹配处理；
before：匹配到pattern 部分前合并（推荐）。

②5.5版本之后（before为例）

filebeat.prospectors:

- input_type: log

paths:

- /root/performanceTrace*

fields:

type: zidonghualog

multiline.pattern: '.*"WaitInterval":.*-- End'

multiline.negate: true

multiline.match: before

③5.5版本之前（after为例）

filebeat.prospectors:

- input_type: log

paths:

- /root/performanceTrace*

input_type: log

multiline:

pattern: '^20.*'

negate: true

match: after

在logstash input中使用multiline插件（没有filebeat时推荐）：

①介绍multiline

pattern：正则匹配从哪行合并；
negate：true/false，匹配到pattern 部分开始合并，还是不配到的合并。

what：previous/next（需自己理解）

previous：相当于filebeat 的after；
next：相当于filebeat 的before。

②用法

input {

file {

path => ["/root/logs/log2"]

start_position => "beginning"

codec => multiline {

pattern => "^20.*"

negate => true

what => "previous"

}

Используйте многострочный плагин в logstash фильтр (не рекомендуется):

Не рекомендуется причины:

После того, как фильтр обеспечивается многострочный, pipline работник будет автоматически уменьшено до 1;
По официальной версии 5.5 в дополнение к многострочный, вы хотите использовать, то вам необходимо скачать, команда загрузки выглядит следующим образом:

/ USR / доли / logstash / bin / logstash-плагин установить logstash-фильтр-многострочный

Пример:

фильтр {

многострочный {

шаблон => "^ 20. *"

свести на нет => правда

то, что => «предыдущий»

}

5, logstash дата фильтра, используемая в

Войти пример:

2018-03-20 10:44:01 [33] ОТЛАДКА отладки - запрос задачи, задачи Id: 1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a, время начала: 2018-03-20 10:43:59

Использовать дату:

Дата {

матч => [ "InsertTime", "YYYY-MM-дд чч: мм: сс"]

remove_field => "InsertTime"

}

注: матч => [ "временная метка", "дд / МММ / ГГГГ час: мин: сек Z"]

Сопоставление это поле, Формат полей: / Месяц месяц / год день / минута / секунда часового пояса, также может быть записана в виде: матч => [ «временная метка», «ISO8601»] (рекомендуется)

Дата:

Ключ должны соответствовать журналу вовремя заменить @timestamp времени, потому что время @timestamp войти в logstash времени, не войти реальное время.

6, журнал обработка классификации мульти-класса (фокус)

在filebeat的配置中添加type分类：

filebeat:

prospectors:

paths:

#- /mnt/data/WebApiDebugLog.txt*

- /mnt/data_total/WebApiDebugLog.txt*

fields:

type: WebApiDebugLog_total

paths:

- /mnt/data_request/WebApiDebugLog.txt*

#- /mnt/data/WebApiDebugLog.txt*

fields:

type: WebApiDebugLog_request

paths:

- /mnt/data_report/WebApiDebugLog.txt*

#- /mnt/data/WebApiDebugLog.txt*

fields:

type: WebApiDebugLog_report

在logstash filter中使用if，可进行对不同类进行不同处理：

filter {

if [fields][type] == "WebApiDebugLog_request" { #对request 类日志

if ([message] =~ "^20.*- task report,.*,start time.*") { #删除report 行

drop {}

}

grok {

match => {"... ..."}

}

在logstash output中使用if：

if [fields][type] == "WebApiDebugLog_total" {

elasticsearch {

hosts => ["6.6.6.6:9200"]

index => "logstashl-WebApiDebugLog_total-%{+YYYY.MM.dd}"

document_type => "WebApiDebugLog_total_logs"

}

二、对ELK整体性能的优化

1、性能分析

服务器硬件Linux：1cpu4GRAM

假设每条日志250Byte。

分析：

①logstash-Linux：1cpu 4GRAM

每秒500条日志；
去掉ruby每秒660条日志；
去掉grok后每秒1000条数据。

②filebeat-Linux：1cpu 4GRAM

每秒2500-3500条数据；
每天每台机器可处理：24h*60min*60sec* 3000*250Byte=64,800,000,000Bytes，约64G。

③瓶颈在logstash从Redis中取数据存入ES，开启一个logstash，每秒约处理6000条数据；开启两个logstash，每秒约处理10000条数据（cpu已基本跑满）；

④logstash的启动过程占用大量系统资源，因为脚本中要检查java、ruby以及其他环境变量，启动后资源占用会恢复到正常状态。

2、关于收集日志的选择：logstash/filter

没有原则要求使用filebeat或logstash，两者作为shipper的功能是一样的。

区别在于：

logstash由于集成了众多插件，如grok、ruby，所以相比beat是重量级的；
logstash启动后占用资源更多，如果硬件资源足够则无需考虑二者差异；
logstash基于JVM，支持跨平台；而beat使用golang编写，AIX不支持；
AIX 64bit平台上需要安装jdk（jre） 1.7 32bit，64bit的不支持；
filebeat可以直接输入到ES，但是系统中存在logstash直接输入到ES的情况，这将造成不同的索引类型造成检索复杂，最好统一输入到els 的源。

总结：

logstash/filter总之各有千秋，但是我推荐选择：在每个需要收集的日志服务器上配置filebeat，因为轻量级，用于收集日志；再统一输出给logstash，做对日志的处理；最后统一由logstash输出给els。

3、logstash的优化相关配置

可以优化的参数，可根据自己的硬件进行优化配置：

①pipeline线程数，官方建议是等于CPU内核数

默认配置 ---> pipeline.workers: 2；
可优化为 ---> pipeline.workers: CPU内核数（或几倍CPU内核数）。

②实际output时的线程数

默认配置 ---> pipeline.output.workers: 1；
可优化为 ---> pipeline.output.workers: 不超过pipeline线程数。

③每次发送的事件数

默认配置 ---> pipeline.batch.size: 125；
可优化为 ---> pipeline.batch.size: 1000。

④发送延时

默认配置 ---> pipeline.batch.delay: 5；
可优化为 ---> pipeline.batch.size: 10。

总结：

通过设置-w参数指定pipeline worker数量，也可直接修改配置文件logstash.yml。这会提高filter和output的线程数，如果需要的话，将其设置为cpu核心数的几倍是安全的，线程在I/O上是空闲的。

默认每个输出在一个pipeline worker线程上活动，可以在输出output中设置workers设置，不要将该值设置大于pipeline worker数。

还可以设置输出的batch_size数，例如ES输出与batch size一致。

filter设置multiline后，pipline worker会自动将为1，如果使用filebeat，建议在beat中就使用multiline，如果使用logstash作为shipper，建议在input中设置multiline，不要在filter中设置multiline。

Logstash中的JVM配置文件：

Logstash является Java на основе разработки программы должна работать в JVM, он может быть установлен для виртуальной машины Java с помощью настройки jvm.options. Так, например, максимальная и минимальная память, механизм сборки мусора и так далее. распределение памяти JVM не может быть слишком большой, не слишком мало, слишком медленно операционной сборки системы. Слишком мало, чтобы привести не начать. Значение по умолчанию выглядит следующим образом:

Xms256m # минимальное использование памяти;
Xmx1g # максимальное использование памяти.

4, вопросы, связанные с введением Redis

filebeat может быть введено непосредственно в logstash (индексатор), но не logstash никакой функции хранения, если вам необходимо перезапустить все связанные с необходимостью остановить удар, а затем остановить logstash, эксплуатацию и техническое обслуживание вызвало проблему, кроме того, данные будут потеряны, если исключение происходит logstash, вводятся как Redis буфер данных пула, когда аномальная остановка logstash можно увидеть из кэша данных в клиенте Redis в Redis;

Redis можно использовать список (может быть до 4294967295 баров) или публиковать подписываться режим хранения;

Redis сделать ELK оптимизированной очереди буфера:

Не связывайте 0.0.0.0 # слушает локальный порт;
requirepass ilinux.io # добавить пароль для безопасной работы;
Только очередь, постоянное хранение не является необходимой, отключить все постоянные функции:

Снимок (RDB файлы) и дополнительные файлы (AOF файл), более высокая производительность;

сохранить «» Отключить моментальный снимок;

appendonly не близко RDB.
Стратегии ликвидации отключить память, максимальный объем памяти

maxmemory 0 #maxmemory является 0, когда у нас нет ограничений на использование памяти Redis.

5, узел Elasticsearch Оптимизация

Аппаратная конфигурация сервера, параметры ОС:

1) конфигурации /etc/sysctl.conf

ВИМ /etc/sysctl.conf

① vm.swappiness = 1 #ES рекомендуем этот параметр установлен в 1, что значительно сокращает размер раздела подкачки, вынуждены максимально использовать память, внимание, чтобы не установить в 0, что может вызвать OOM

② net.core.somaxconn = максимальная длина каждого монитора очереди порта определяет # 65535

③ vm.max_map_count = 262144 # ограничить число процесса может иметь VMA (область виртуальной памяти). Виртуальная область памяти представляет собой непрерывную область пространства виртуальных адресов. Когда число VMA превышает это значение, ОЫЙ

Максимальное количество ④ fs.file-макс = 518144 # Установить распределение ядра Linux файловых дескрипторов

[Root @ elasticsearch] # Sysctl -p вступают в силу о.

2) Конфигурация limits.conf

ВИМ /etc/security/limits.conf

elasticsearch мягкий nofile 65535

elasticsearch жесткий nofile 65535

elasticsearch мягкий memlock неограничен

elasticsearch жесткий memlock неограничен

3) Для того, чтобы сделать постоянные вышеуказанные параметры, но и установить два места:

ВИМ /etc/pam.d/common-session-noninteractive

ВИМ /etc/pam.d/common-session

Добавьте следующие атрибуты:

сессии требуется pam_limits.so

Вы, возможно, потребуется перезапустить, чтобы вступили в силу.

Elasticsearch файл конфигурации виртуальной машины Java

-Xms2g

-Xmx2g

Минимальный размер кучи (в Xms) и максимальный размер кучи (Xmx) устанавливают равными друг другу.
Elasticsearch больше стеки доступны, тем больше может быть использован в кэш-памяти. Заметим, однако, может сделать вас куча слишком много времени пауз для сбора мусора.
Xmx установлено не более чем 50% физической памяти, чтобы обеспечить кэш файловой системы осталось ядро достаточно физической памяти.
Не установлено для виртуальной машины Java Xmx выше критического значения указателя сжиматься, точные обрезания разные, но близко к 32 Гб. Не превышать 32G, если пространство является большим, запустить несколько экземпляров, не делает пример слишком много памяти.

Elasticsearch параметры оптимизации профиля:

1) ВИМ elasticsearch.yml

bootstrap.memory_lock: правда # заперта памяти, без использования свопа

# Cache, нитки и другие оптимизации следующим образом

bootstrap.mlockall: правда

transport.tcp.compress: правда

indices.fielddata.cache.size: 40%

indices.cache.filter.size: 30%

indices.cache.filter.terms.size: 1024MB

ThreadPool:

поиск:

Тип: кэшируются

Размер: 100

QUEUE_SIZE: 2000

2) установить переменную окружения

ВИМ экспорт /etc/profile.d/elasticsearch.sh ES_HE AP _size = 2g #Heap Размер физической памяти не более чем на половину и меньше, чем 32G.

Оптимизация кластера (я не использовал кластер):

ES является распределенной памяти, автоматически обнаруживаются и добавляются к множеству кластеров, когда тот же cluster.name;
Кластер будет автоматически выбирать мастер, когда мастер вниз для переизбрания;
Для того, чтобы предотвратить «расщепленный мозг», число кластеров предпочтительно представляют собой нечетное число;
Для эффективного управления узлами, может быть закрыто открытие вещания zen.ping.multicast.enabled :. Ложные и расположенные одноадресной discovery.zen.ping.unicast.hosts группы узла: [ «IP1», «IP2», «IP3»].

6, проверка производительности

Проверьте входную и выходную характеристику:

Logstash и служб, выполняющихся скорость совпадает связно, и это может быть входной и выходной скорости, как быстро.

Проверьте параметры системы:

1) центральный процессор

Обратите внимание, перегружен ли ЦП. Вы можете использовать топ-H параметры зрения процесса в системах Linux / Unix, а также итоги.
Если загрузка процессора слишком высока, перейти непосредственно проверить раздел JVM кучи и проверьте настройки Logstash работника.

2) Память

Примечание Logstash работает в виртуальной машине Java, поэтому он будет использовать только максимальная память, выделенную для него.
Проверьте другие приложения, которые используют много памяти ситуации, которая приведет к Logstash подкачки на жестком диске, когда физическая память выходит за рамки данного дела будет занимать память в приложении.

. 3) I / O монитор операций ввода-вывода Насыщение диска / проверка

使用Logstash plugin（例如使用文件输出）磁盘会发生饱和。
当发生大量错误，Logstash生成大量错误日志时磁盘也会发生饱和。
在Linux中，可使用iostat，dstat或者其他命令监控磁盘I/O。

4）监控网络I/O

当使用大量网络操作的input、output时，会导致网络饱和。
在Linux中可使用dstat或iftop监控网络情况。

检查JVM heap：

heap设置太小会导致CPU使用率过高，这是因为JVM的垃圾回收机制导致的。
一个快速检查该设置的方法是将heap设置为两倍大小然后检测性能改进。不要将heap设置超过物理内存大小，保留至少1G内存给操作系统和其他进程。
你可以使用类似jmap命令行或VisualVM更加精确的计算JVM heap。

如有更多优化方法，或是难点解决的方法，欢迎在留言区补充~

作者：alonghub

来源：

https://www.cnblogs.com/along21/p/8613115.html

ELK ваша проблема головной боли, почти решена

рекомендация