Como el tercero de una serie de blog de inicio rápido Kafka en este documento, esto es para todo el mundo para llevar el análisis macro y micro de la arquitectura Kafka -
La palabra en clave no es fácil, alabar después de la primera mirada!
Directorio artículo
arquitectura técnica Kafka
macro
Macro, la arquitectura de Kafka se compone de cuatro partes
1, API productores
Permite que las aplicaciones para publicar una corriente a uno o más temas (temas) Registro kafka.
2, API consumidor
Permite la aplicación para suscribirse a uno o más temas, tópicos y procesa el registro flujo recibido.
3, StreamsAPI
Se permite que una aplicación de procesador actúa como un (procesador de corriente de) la corriente, toma un flujo de entrada de uno o más temas, y para producir un flujo de salida de uno o más temas, puede cambiar de manera efectiva el flujo de entrada a la corriente de salida.
4, ConnectAPI
Construcción y operación permite productor reutilizable o consumidor pueden ser conectados a la kafka relativa a programa de aplicación existente o sistema de datos. Por ejemplo: un conector conectado a una base de datos relacional puede conseguir el cambio para cada tabla.
microcósmica
Descripción : kafka mensaje soportes persistencia, para el consumidor final al modelo de extracción de datos tirón, estado de la suscripción de los consumidores y es responsable de mantener relaciones con los clientes que tenemos, después del consumo de noticias no se elimina inmediatamente, preserva la historia del mensaje. Por lo tanto, cuando el soporte para multi-suscripción, el mensaje se almacenará una copia del mismo.
detalles internos
. 1) Productor : productores mensaje, es el mensaje al agente cliente final kafka;
2) Consumidor : un consumidor de mensajes lleva el mensaje al agente de kafka terminal del cliente;
. 3) Grupo de Consumo (la CG) : grupo de consumidores, compuesto de una pluralidad de consumidores. Los consumidores dentro de cada grupo es responsable de los datos de consumo de los consumidores para diferentes partición, una partición sólo puede ser consumido por un grupo de consumidores ; simultáneamente y grupos de consumidores. Todos los consumidores pertenecen a un grupo de consumidores, es decir, grupo de consumidores es un abonado lógico .
4) Broker : servidor de un kafka es un corredor. Un grupo compuesto de una pluralidad de corredor. Un corredor puede recibir una pluralidad de tema.
5) Tema : se puede entender como una cola, los productores y los consumidores se enfrentan a un tema ; cada mensaje enviado a kafka clúster debe tener una categoría (tema)
. 6) de la partición : Con el fin de lograr escalabilidad, un tema muy grande puede ser distribuido a una pluralidad Broker (es decir, servidor), un tema se puede dividir en una pluralidad de partición , cada partición es una cola ordenada;
. 7) segmento : la presencia de un segmento de partición entre la pluralidad de segmentos de archivo, cada segmento dividido en dos partes, .log archivo y .index archivo, en el que .index archivo es un archivo de índice, principalmente para los datos parciales rápidas entre archivo .log cambio de posición
8) Réplica : copiar, cuando un nodo de clúster falla de garantía, los datos de la partición en el nodo no se pierde, y Kafka continúan operando, y proporcionar una copia de kafka mecanismo, cada partición tiene un número de tema una copia de un líder y un número de seguidores .
9) Líder : "Señor", varias copias de cada partición objeto envía los productores de datos , así como los objetos de datos de gasto de los consumidores son líder.
10) seguidor : múltiples copias de cada partición en el "de" sincronización en tiempo real de datos de la líder y el líder de mantener datos de sincronización. Cuando falla el líder, un seguidor se convertirá en un nuevo seguidor.
Para obtener más información:
1. Un corredor puede ser sólo un líder, un agente puede ser sólo un tema de una partición
2. copia no es responsable de leer los datos de respuesta, datos de los consumidores sólo pueden ser leídas de plomo, Seguidor sólo para mejorar la tolerancia a fallos
3. consumidor depende del número de partición concurrentes
4. datos de la partición número de copia <= número de Broker (una copia de los datos no está permitido en la misma partición Broker)
Bueno, por fin terminado la palabra de código del ~ este blog puede ser descrito como la esencia de la plena , por sólo el aprendizaje amigo de Kafka puede ser descrito como muy conciencia - si usted piensa que tiene ayuda, puede tomar un pulgar hacia arriba, se centran en un punto, hacer más más personas se benefician 9 (1❛ᴗ❛1) 6.
Resumen de los conocimientos en este blog aquí, y nos traerá el próximo blog Kafka的命令行操作, así que estad atentos ~
