Capítulo 2 Guía rápida de Kafka
Términos relacionados con Kafka
Broker: el clúster de Kafka contiene uno o más servidores, este tipo de servidor se llama broker;
Tema: cada mensaje publicado en el clúster de Kafka tiene una categoría, esta categoría se llama tema. (Físicamente, los diferentes mensajes de tema se almacenan por separado. Aunque lógicamente un mensaje de tema se almacena en uno o más intermediarios, los usuarios solo necesitan especificar el tema del mensaje para producir o consumir datos sin tener que preocuparse de dónde se almacenan los datos)
Partición : —La partición es un concepto físico. Cada tema contiene una o más particiones.
Productor - responsable de publicar mensajes al agente de Kafka.
Consumidor - consumidor de mensajes, cliente que lee los mensajes del agente de Kafka.
Grupo de consumidores: cada consumidor pertenece a un grupo de consumidores específico (puede especificar el nombre del grupo para cada consumidor; si no especifica el nombre del grupo, pertenece al grupo predeterminado)
El modo de trabajo de Kafka es que el productor agrega un mensaje al tema. El tema almacena datos en forma de registro. El registro se divide en diferentes particiones en la estructura física y en diferentes intermediarios en el clúster. Los consumidores se suscriben a un tema y leen mensajes del registro del tema.
Kafka utiliza ZooKeeper para gestionar el clúster. ZooKeeper se utiliza para coordinar el servidor o la topología del clúster. ZooKeeper es un sistema de archivos coherente para la información de configuración.
Comprensión del modo de trabajo del clúster Kafka
El clúster kafka consta de un servidor proxy, es decir, un intermediario y un componente de gestión de zookeeper.
Cuando se crea un tema, sus mensajes almacenan datos en forma de registros. El registro se dividirá en varias particiones y se distribuirá en cada corredor. Los registros serán respaldados en cada corredor al mismo tiempo, y el mecanismo de respaldo mantiene la tolerancia a fallas. Cuando existe un mecanismo de respaldo, cada partición tiene múltiples copias de almacenamiento en diferentes intermediarios. Cada partición definirá un corredor líder y otros corredores seguidores. Esta asignación la realiza el controlador del agente. Creo que este controlador está disponible para cada intermediario, porque su función es especificar el líder para la partición y reasignar el seguidor o líder cuando falla el intermediario seguidor. ZooKeeper es un componente del clúster de gestión, no es un intermediario, es responsable de supervisar el estado de cada intermediario. Si un corredor no está disponible, ZooKeeper es responsable de eliminarlo del clúster y registra qué servidor es el líder de cada tema. También realiza control de acceso. [Aquí hay una duda, entiendo que cada partición de cada tema tiene un corredor líder, pero el artículo establece que hay un corredor líder para cada tema. 】
