1. Caso de solicitud de ELK
Caso de implementación de ELK:
Esta arquitectura es un poco complicada, así que aquí hay una interpretación de la arquitectura. Este diagrama de arquitectura se divide en 5 capas de izquierda a derecha. Las funciones y significados de cada capa se presentan a continuación:
La primera capa, capa de recopilación de datos.
La capa de recopilación de datos se encuentra en el clúster de servidores empresariales situado más a la izquierda. Filebeat se instala en cada servidor empresarial para la recopilación de registros y, a continuación, los registros originales recopilados se envían al clúster de Kafka+zookeeper.
La segunda capa, la capa de cola de mensajes.
Después de enviar el registro original al clúster de Kafka+zookeeper, se almacenará de forma centralizada. En este momento, filbeat es el productor del mensaje, y el mensaje almacenado se puede consumir en cualquier momento.
La tercera capa, capa de análisis de datos.
Como consumidor, Logstash irá al nodo del clúster de Kafka+zookeeper para extraer el registro original en tiempo real, luego analizará, limpiará y filtrará el registro original obtenido de acuerdo con las reglas y, finalmente, enviará el registro limpio al clúster de Elasticsearch.
La cuarta capa, almacenamiento persistente de datos
Después de que el clúster de Elasticsearch recibe los datos enviados por logstash, realiza operaciones como escribir en el disco, crear una biblioteca de índices y, finalmente, almacenar los datos estructurados en el clúster de Elasticsearch.
La quinta capa, consulta de datos, capa de visualización.
Kibana es una plataforma de visualización de datos visuales. Cuando hay una solicitud de recuperación de datos, lee los datos del clúster de Elasticsearch y luego realiza gráficos visuales y análisis multidimensional.