Directorio de artículos
Capítulo 1 Introducción a Doris
1.1 Descripción general de Doris
Apache Doris fue desarrollado por el Departamento de Big Data de Baidu (anteriormente llamado Baidu Palo, que pasó a llamarse Doris después de contribuir a la comunidad Apache en 2018). Dentro de Baidu, hay más de 200 líneas de productos en uso y más de 1,000 máquinas implementadas. Llega a cientos de terabytes.
Apache Doris es un producto de base de datos analítico moderno MPP (Massively Parallel Processing, procesamiento paralelo masivo). Los resultados de las consultas se pueden obtener con un tiempo de respuesta de menos de un segundo, lo que respalda de manera efectiva el análisis de datos en tiempo real. La arquitectura distribuida de Apache Doris es muy simple, fácil de operar y mantener, y puede admitir conjuntos de datos muy grandes de más de 10 PB.
Apache Doris puede satisfacer una variedad de necesidades de análisis de datos, como informes históricos fijos, análisis de datos en tiempo real, interactivo
Análisis de datos y análisis exploratorio de datos, etc.
1.2 Arquitectura Doris
La arquitectura de Doris es muy simple. Solo tiene dos roles y dos procesos de FE (Frontend) y BE (Backend). No depende de componentes externos, lo cual es conveniente para la implementación y operación y mantenimiento. Tanto FE como BE pueden expandirse linealmente.
⚫ FE (Frontend): almacenar y mantener los metadatos del clúster; responsable de recibir y analizar solicitudes de consulta, planificar planes de consulta,
Programe la ejecución de la consulta y devuelva los resultados de la consulta. Hay tres roles principales:
(1) Líder y seguidor: se utiliza principalmente para lograr una alta disponibilidad de metadatos, para garantizar que cuando un solo nodo se cae, los metadatos se pueden restaurar en línea en tiempo real sin afectar todo el servicio.
(2) Observador: se utiliza para expandir el nodo de consulta y también cumple la función de respaldo de metadatos. Si encuentra que la presión del clúster es muy alta y necesita expandir la capacidad de toda la consulta, puede agregar nodos de observador. El observador no participa en ninguna escritura, solo lee.
⚫ BE (Backend): encargado del almacenamiento y cálculo de los datos físicos, ejecutar consultas de forma distribuida de acuerdo al plan físico generado por FE.
BE garantiza la fiabilidad de los datos, y BE almacenará varias copias o tres copias de los datos completos. El número de copias se puede ajustar dinámicamente según la demanda.
⚫ Cliente MySQL
Con la ayuda del protocolo MySQL, Doris puede acceder directamente a Doris utilizando cualquier cliente MySQL ODBC/JDBC y MySQL.
⚫ Corredor
Broker es un proceso sin estado independiente. Encapsula la interfaz del sistema de archivos y proporciona a Doris la capacidad de leer archivos en sistemas de almacenamiento remoto, incluidos HDFS, S3, BOS, etc.