Autor: Zen y el arte de la programación informática
1. Introducción
Apache Kafka es un sistema de mensajería distribuida de código abierto desarrollado y de código abierto por LinkedIn. Originalmente fue diseñado para construir una plataforma de procesamiento de flujo en tiempo real, capaz de publicar/suscribir de forma diversificada y consumir datos a través de múltiples protocolos de transporte. Con el paso del tiempo, Kafka se ha convertido en un componente básico de cada vez más campos de aplicación y es ampliamente utilizado por diversas empresas y organizaciones. En septiembre de 2018, Didi Chuxing anunció un servicio piloto de cola de mensajes basado en Apache Kafka, que se utilizará para transmitir información y datos importantes externamente.
Este artículo profundizará en la exploración y práctica de Apache Kafka en el proceso de comercialización de Didi Chuxing desde los aspectos del marco general, las características clave de Kafka y los escenarios de uso de Kafka, con la esperanza de brindar a los lectores más conocimiento y experiencia.
Se aceptan contribuciones y sugerencias para discutir alguna experiencia práctica de Apache Kafka en la comercialización de Didi Chuxing, a fin de promover la prosperidad y el desarrollo saludable de la ecología comunitaria.
2. Introducción a los antecedentes
2.1 ¿Qué es Kafka?
Apache Kafka es una plataforma informática distribuida de código abierto cuyo propósito es procesar flujos de datos en tiempo real. Kafka es un sistema de mensajes de publicación-suscripción distribuido de alto rendimiento con las siguientes características principales:
- Distribuido: admite la implementación en múltiples servidores en un clúster y aprovecha al máximo las ventajas de múltiples núcleos para mejorar el rendimiento;
- Fiabilidad: admite la persistencia para garantizar que los mensajes no se pierdan;
- Tolerancia a fallos: asegúrese de que los mensajes no se pierdan o se pierdan en pequeñas cantidades a través del mecanismo de copia de seguridad;
- Eficiente: los mensajes se envían en lotes para reducir el consumo de E/S de la red;
- Temporización: Kafka garantiza el orden de los mensajes y se puede ordenar según las marcas de tiempo de los eventos asociados;
- Motor de mensajes: proporciona una interfaz de mensajes unificada, los desarrolladores pueden usar varios idiomas