Prefacio
Distribuido es una de las habilidades necesarias para los programadores, pertenece a la categoría necesaria en el proceso de entrevista y se usa a menudo en el trabajo. Kafka es una cola de mensajes distribuida basada en publicar y suscribirse. En la actualidad, su encanto es infinito. Para el misterio de Kafka, todavía tenemos que explorar en detalle.
Para hablar de lo familiarizado que es Kafka, creo que los peces gordos de Ali son los que más opinan, por lo que el contenido compartido hoy son las "notas limitadas" proporcionadas internamente por Alibaba. Toda la esencia de Kafka está escrita aquí. Tengo que Exclamación: Como se esperaba del oficial técnico de Alibaba, ¡realmente lo tomé!
Con respecto a esta nota limitada de Kafka, solo puedo mostrar parte del contenido del capítulo y las capturas de pantalla principales en el artículo. Si necesita la versión completa en pdf, puede enviarme un correo privado con "Kafka" para recibirla de forma gratuita.
1. Comprensión de Kafka
1. Conceptos básicos de Kafka
2. Instalación y configuración
3. Producción y consumo
4. Configuración de los parámetros del servidor
2. Productor
1. Desarrollo del cliente
- Configuración de parámetros necesaria
- Envío de mensajes
- Publicación por entregas
- Particionador
- Interceptor productor
2. Análisis de principios
- Estructura general
- Actualización de metadatos
3. Parámetros importantes del productor
Tres consumidores
1. Consumidores y grupos de consumidores
2. Desarrollo del cliente
- Configuración de parámetros necesaria
- Suscribirse a temas y particiones
- Deserialización
- Consumo de mensajes
- Presentación de desplazamiento
- Controlar o cerrar el consumo
- Especificar el consumo de desplazamiento
- Reequilibrio
- Interceptor de consumidores
- Implementación multiproceso
- Parámetros importantes del consumidor
Cuatro, temas y divisiones
1. Gestión de sujetos
- Crear tema
- Distribución de copias de partición
- Ver tema
- Editar tema
- Gestión de configuración
- Parámetros del sujeto
- Eliminar tema
2. Primero conozca a KafkaAdminCilent
- Uso básico
- Verificación de legalidad del sujeto
3. Gestión de particiones
- Elección de la primera copia
- Redistribución de particiones
- Límite de replicación
- Modificar el factor de copia
4. Cómo elegir el número correcto de particiones
- Herramientas de prueba de desempeño
- Cuantas más particiones, mayor es el rendimiento
- Número máximo de particiones
- Consideraciones
Cinco, almacenamiento de registros
1. Disposición del directorio de archivos
2. Evolución del formato de registro
- versión v0
- versión v1
- Compresión de mensajes
- Campo de longitud variable
- versión v2
3. Índice de registro
- Índice de compensación
- Índice de marca de tiempo
4. Limpieza de registros
- Eliminación de registro
- Compresión de registro
5. Almacenamiento en disco
- Caché de página
- Proceso de E / S de disco
- Copia cero
Seis servidores en profundidad
1. Diseño de protocolo
2. Rueda del tiempo
3. Retraso de la operación
4. Controlador
5. Descifrado de parámetros
Siete, cliente en profundidad
1. Estrategia de asignación de particiones
2. Coordinador de consumidores y coordinador de grupo
3. Análisis de _consumer_offsets
4. Asuntos
8. Investigación de confiabilidad
1. Copiar análisis
2. Mecanismo de sincronización de registros
3. Análisis de confiabilidad
Nueve, aplicación Kafka
1. Herramientas de línea de comandos
2.Kafka Connect
3 fabricante de espejos Kafka
4 corrientes de Kafka
10. Seguimiento de Kafka
1. Fuente de los datos de seguimiento
2. El consumo se queda atrás
3. Sincronizar particiones fallidas
4. Descripción de los indicadores de seguimiento
5. Módulo de seguimiento
11. Aplicaciones avanzadas
1. Hora de vencimiento (TTL)
2. Cola de retraso
3. Cola de mensajes fallidos y cola de reintento
4. Enrutamiento de mensajes
5. Seguimiento de mensajes
6. Auditoría de mensajes
7. Agente de mensajes
8. Selección de middleware de mensajes
12. Integración de Kafka y Spark
1. Instalación de Spark y aplicación sencilla
Modelo de programación 2.Spark
Estructura operativa 3.Spark
4. Introducción a Spark Streaming
5. Integración de Kafka y Spark Streaming
6.Spark SQL
7. Streaming estructurado
8. Integración de Kafka y transmisión estructurada
para resumir
Siempre nos gusta rendir homenaje a los grandes dioses de las grandes fábricas, pero de hecho, los grandes dioses no son más que mortales. En comparación con los programadores novatos, piensan un poco más. Si no trabajas duro, la brecha solo se hará cada vez más grande. De hecho, como programador, es necesario enriquecer la reserva de conocimientos y potenciar la profundidad y amplitud de los conocimientos, en mi opinión, las recompensas serán lo que pague.
Aprender Kafka no es tan difícil como imaginaba. El contenido de este cuaderno de Kafka limitado te inspirará y te ayudará a aprender Kafka. Si necesita esta versión completa de notas Kafka , sólo tiene que apoyar a mi en este artículo.
——Vuelve a publicar + comenta el artículo, sígueme, y luego consigue la contraseña "Kafka" por mensaje privado para recibirlo 100% gratis.