En tant qu'ingénieurs d'exploitation et de maintenance, nous connaissons Kafka, mais c'est tout. Il y a encore un grand nombre de personnes qui ne savent pas ce que fait Kafka, ni les principes et la configuration de Kafka, encore moins les applications avancées de Kafka.
Nous apprenons Kafka non seulement parce qu'il s'agit d'une connaissance nécessaire à l'exploitation et à la maintenance, mais aussi parce que Kafka est également un "visiteur fréquent" lors des entretiens. Afin de réussir l'entretien sans heurts et de faciliter la carrière ultérieure , l'apprentissage de Kafka est une priorité absolue. .
Aujourd'hui, je ne parle pas de connaissances obscures, laissez simplement tout le monde s'en servir 几分钟pour comprendre rapidement Kafka, 超通俗易懂le manuel, et les nouveaux arrivants pourront le suivre complètement.
Concepts de Kafka et termes de base
Kafka est développé par Linkedin. Il s'agit d'une plate-forme de flux de messages distribués, multi-partitions, multi-copies, basée sur Zookeeper. C'est également un système de moteur de messagerie open source basé sur le mode publication-abonnement.
Message : L'unité de données dans Kafka est appelée un message, également appelé enregistrement, qui peut être considéré comme un enregistrement d'une ligne dans une table de base de données
Lot : pour améliorer l'efficacité, les messages sont écrits dans Kafka par lots, et un lot fait référence à un groupe de messages.
Topic : Le type de message est appelé topic, on peut dire qu'un topic représente un type de message. Cela équivaut à classer les messages. Les rubriques sont comme des tables dans une base de données.
Partition : un sujet peut être divisé en plusieurs partitions. Les partitions d'un même sujet peuvent ne pas être sur une seule machine et peuvent être déployées sur plusieurs machines. De cette façon, l'évolutivité de Kafka peut être réalisée. Les partitions dans un seul sujet Cependant, il n'y a aucune garantie que toutes les partitions d'un sujet soient dans l'ordre.
Producteur : L'application cliente qui publie des messages sur un sujet est appelée un producteur, et le producteur est utilisé pour envoyer en continu des messages à un sujet.
Consommateur : Le programme client qui s'abonne au message du sujet est appelé le consommateur (Consumer), et le consommateur est utilisé pour traiter le message généré par le producteur.
Groupe de consommateurs : La relation entre les producteurs et les consommateurs est comme la relation entre les chefs et les clients dans un restaurant. Un chef correspond à plusieurs clients, c'est-à-dire qu'un producteur correspond à plusieurs consommateurs. Les groupes de consommateurs (Consumer Group) désignent un groupe composé de un ou plusieurs consommateurs.
File d'attente de messages de Kafka
La file d'attente de messages de Kafka est généralement divisée en deux modes : le mode point à point et le mode publication-abonnement.
Kafka supporte les groupes de consommateurs, c'est-à-dire qu'il y aura un ou plusieurs consommateurs dans Kafka. Si un message produit par un producteur est consommé par un consommateur, alors ce mode est un mode point à point. Si un producteur Ou
quand les messages générés par plusieurs producteurs peuvent être consommés par plusieurs consommateurs en même temps, une telle file d'attente de messages devient une file d'attente de messages en mode publication-abonnement.
Architecture du système Kafka
Envoi de messages Kafka
Après avoir instancié l'objet producteur, vous pouvez commencer à envoyer des messages. Il existe principalement les manières suivantes d'envoyer des messages
- envoi de message simple
- Envoyer des messages de manière synchrone
- Envoyer des messages de manière asynchrone
Kafka Consommateur
Les consommateurs de Kafka appartiennent à des groupes de consommateurs. Les consommateurs d'un groupe s'abonnent au même sujet et chaque consommateur reçoit des messages d'une partie du sujet. Voici un diagramme de consommation de partition Kafka.
Le sujet T1 dans la figure ci-dessus comporte quatre partitions, à savoir la partition 0, la partition 1, la partition 2 et la partition 3. Nous créons un groupe de consommateurs 1 et il n'y a qu'un seul consommateur dans le consommateur. group , il s'abonne au sujet T1 et reçoit tous les messages de T1. Puisqu'un consommateur gère les messages envoyés par quatre producteurs à la partition, la pression est un peu élevée et un assistant est nécessaire pour aider à partager la tâche, elle évolue donc vers la figure suivante
Affichage PDF de la version complète
Cette note 短小精悍est très appropriée 入门使用, les illustrations sont claires et faciles à comprendre, et vous pouvez l'emporter pour l'étudier.
