Auteur : Zen et l'art de la programmation informatique
1. Introduction
Cet article expliquera en détail et configurera progressivement les composants principaux de Logstash pour garantir un lien complet pour la collecte, le nettoyage, le traitement et l'analyse des données de journaux. En raison de l'évolution continue des besoins des entreprises et de l'augmentation de la complexité, la collecte, le nettoyage et le traitement des journaux sont devenus l'un des aspects les plus chronophages de l'efficacité de l'exploitation et de la maintenance d'une entreprise. Afin de résoudre ce problème, de nombreuses entreprises ont choisi des outils de collecte de journaux open source tels qu'Elastic Stack. Son architecture flexible et efficace peut répondre aux besoins de collecte de journaux, de stockage et de requêtes de diverses entreprises dans différents scénarios. Lors de la configuration de Logstash, vous devez faire attention à la configuration de ses composants principaux. Le module pipeline est très important, suivi de l'entrée, du filtre et de la sortie. Enfin, vous devez mieux comprendre et maîtriser certains algorithmes de base et compétences courantes en matière de configuration de plug-ins pour garantir le bon fonctionnement de Logstash et améliorer l'efficacité de la collecte, du nettoyage et du traitement des journaux. 2. Présentation Logstash est un outil open source de collecte, de traitement et de transmission de données. Il peut collecter et analyser des données provenant de diverses sources, les filtrer, les acheminer et les convertir selon des règles, puis les envoyer à un emplacement désigné (tel qu'Elasticsearch, MongoDB, etc.), ou les envoyer à un terminal pour les visualiser. Son architecture se compose de quatre composants majeurs (Input, Filter, Output, Pipeline). Parmi eux, le composant pipeline est au cœur de Logstash, qui est responsable de la réception, du filtrage, du traitement et de la sortie des journaux. Il communique les informations du journal avec d'autres composants via certains protocoles. Chaque composant peut être configuré de manière personnalisée via des fichiers de configuration et interagir de plusieurs manières. Ce qui suit présente les principes de fonctionnement de base et les méthodes de configuration de ces composants.
Saisir
Le composant d'entrée est le composant le plus basique de Logstash. Sa fonction principale est de lire à partir de systèmes ou de fichiers externes et de transmettre les événements de journal aux composants de pipeline en aval. Les méthodes de saisie actuellement prises en charge incluent les catégories suivantes :
- Filebeat : un collecteur de données léger qui peut être utilisé pour collecter des fichiers locaux, des journaux de conteneurs, des journaux d'hôtes distants, etc. ;
- Être un