Construya el sistema de monitoreo de nivel de registro EFK a mano

Cómo configurar la supervisión a nivel de registro

• Para el monitoreo de nivel de registro, ELK es actualmente el más popular, que es la abreviatura de Elasticsearch, Logstash y Kibana.
  • Logstash: responsable de la recopilación y el formato de registros
  • Elasticsearch: responsable de la búsqueda de registros
  • Kibana: responsable de mostrar los registros en forma de gráficos
  • El supervisor es responsable de administrar e iniciar los primeros tres procesos
• Más tarde, Filebeat se usó para reemplazar Logstash para lograr un mejor efecto de recolección de registros y formar EFK (Filebeat se basa en el código fuente original de logstash-forwarder).
• En la actualidad, la combinación real de empresas de Internet es el siguiente modo (modo de clúster):
  

enlace de descarga

• Descarga nacional acelerada de Kibana
• Filebeat
• Elasticsearch mirror download station mirror list (solo proporciona descarga de archivos sha)
• kafka
• Supervisor
• Direcciones de colección de varias versiones de elasticsearch + kibana + logstash

Proceso de construcción simple

• 1.0, instale Elasticsearch
• 1.1, Problemas y soluciones de instalación de Elasticsearch
• 2.0, Kibana barato
• 2.1, problemas y soluciones de instalación de Kibana
• 3.0, instale Filebeat
• 3.1, problemas y soluciones de instalación de Filebeat

Proceso de construcción detallado

1. Instale Elasticsearch

1.1, Problemas y soluciones de instalación de Elasticsearch

问题一：
elasticsearch用户拥有的内存权限太小，至少需要262144

• Problema una solución
  • Modificar el tamaño de la memoria
  • Modificar la memoria virtual

问题二：
Exception in thread "main" java.nio.file.AccessDeniedException: /root/home/searchengine/elasticsearc

• Problema dos solución

问题三：
ERROR: [1] bootstrap checks failed
[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured

• Problema tres solución

2, Kibana barato

2.1, problemas y soluciones de instalación de Kibana

问题一：浏览器输入IP:5601，显示空网页

• Solución: modifique el servidor.host del archivo de configuración /usr/local/kibana/config/kibana.yml: "xxxx" es la IP real, no escriba localhost.

3. Instale Filebeat

3.1, problemas y soluciones de instalación de Filebeat

Blog de referencia

• Configuración del sistema de recopilación de registros ELK
• Sistema de recolección de troncos de ELK a EFK
  • Referencia de Filebeat [1.3] »Descripción general
  • Las empresas de nueva creación realizan análisis de datos (4) Sistema de registro ELK
• Guía de chino ELKstack
• Las mejores prácticas del sistema de monitoreo de registros EFK se han verificado en el entorno de producción (versión mejorada del sistema de monitoreo de registros ELK)