Auteur : Zen et l'art de la programmation informatique
1. Introduction
En 2011, Apache Kafka a été officiellement lancé et est devenu l'un des systèmes de messagerie les plus influents de la communauté open source. Avec le développement vigoureux de l'Internet, de l'Internet mobile, de l'Internet des objets, de la finance, des télécommunications et d'autres secteurs, de plus en plus d'entreprises commencent à adopter Kafka comme système de messagerie distribué et à l'appliquer à divers domaines, tels que le commerce électronique, les paiements. , navigation cartographique, collecte de journaux, calcul de flux et autres scénarios. Kafka joue un rôle important dans l'ensemble de l'écosystème du Big Data et est devenu un outil important permettant aux entreprises de collecter, stocker, analyser et consommer des données en temps réel.
Afin d'aider les entreprises à mieux comprendre et maîtriser l'architecture d'application et les meilleures pratiques de Kafka, cet article développera les concepts de base, les utilisations, les avantages et les inconvénients de Kafka, ainsi que l'architecture d'application des files d'attente de messages au niveau de l'entreprise, et présentera en détail comment créer des applications de niveau entreprise basées sur Kafka.Solutions de conception architecturale et d'optimisation. Cet article s'adresse au personnel technique possédant une certaine base technique, de bonnes compétences en communication et un esprit de communication en face à face.
2. Explication des concepts et termes de base
2.1 Présentation d'Apache Kafka
Apache Kafka (également connu sous le nom d'Apache Kafta ou Kafka) est une plateforme de traitement de flux distribué open source fondée par LinkedIn et actuellement gérée par Apache Software Foundation. Les principales fonctions de Kafka sont les suivantes :
- Publication de messages et abonnement
- Persistance des messages
- Journal distribué
- Cluster distribué
Il offre un débit élevé, une faible latence, une fiabilité et une tolérance aux pannes. Kafka peut être utilisé pour plusieurs cas d'utilisation, tels que le suivi de l'activité des sites Web, la journalisation du comportement des utilisateurs, la surveillance du réseau, l'exécution de transactions en ligne, etc. Kafka stocke, traite et transmet les messages via un cluster distribué, qui comprend des clusters de serveurs, des disques et des sujets. Chaque sujet peut être considéré comme un registre qui enregistre chaque message envoyé au cluster Kafka. Les sujets peuvent être subdivisés en plusieurs partitions afin que les données de différents ensembles de messages puissent être stockées sur plusieurs courtiers.