En el abarrotado mercado de bases de datos OLAP, el motor de código abierto ClickHouse se ha convertido en un caballo oscuro reconocido por su excelente rendimiento. Según el comunicado oficial, su rendimiento supera al de bases de datos columnares similares en el mercado.Cada servidor puede procesar cientos de millones a más de mil millones de filas por segundo, con un volumen de decenas de GB de datos, y la velocidad operativa es de 100 -1000 veces más rápido que las bases de datos tradicionales.
Del otro lado de la velocidad de ejecución eficiente, existen muchos problemas como el costo, el rendimiento, la capacidad, etc., como no admitir transacciones, no poder garantizar la consistencia e integridad de los datos, no tener un nivel de aislamiento, no admitir alta concurrencia , etcétera. Esto dificultó que ClickHouse, que era de código abierto en 2016, hiciera frente a los requisitos de escenarios de escala de datos más complejos y más grandes.
Por ejemplo, dentro de Byte, ClickHouse se introdujo en 2018. Debido al desarrollo del negocio, tiene que servir a una gran cantidad de usuarios y la escala de datos se ha vuelto cada vez más grande. Debido a que ClickHouse es una arquitectura Shared-Nothing, cada nodo es independiente y no comparte recursos de almacenamiento, por lo que los recursos informáticos y los recursos de almacenamiento están estrechamente relacionados. Esto conduce a un alto costo de expansión y contracción, e implica la migración de datos, que no se pueden expandir y contraer a pedido en tiempo real, lo que genera un desperdicio de recursos. Además, la arquitectura estrechamente acoplada de ClickHouse hará que varios usuarios interactúen entre sí en el clúster compartido. Además, dado que la lectura y la escritura se completan en un nodo, la lectura y la escritura se verán afectadas. Finalmente, ClickHouse no no es compatible con el rendimiento de consultas complejas, como la combinación de varias tablas.
Byte Uso de ClickHouse
Para resolver estos puntos débiles, Byte actualizó la arquitectura de ClickHouse, lanzó el proyecto ByConity internamente en 2020 y lanzó la versión Beta en enero de 2023, que será oficialmente de código abierto a fines de mayo.
ByConity es un almacén de datos nativo de la nube de código abierto que adopta una arquitectura de separación de almacenamiento e informática. Admite varias características funcionales clave, como la separación del almacenamiento y la computación, la expansión y contracción elásticas, el aislamiento de los recursos de los inquilinos y una sólida consistencia en la lectura y escritura de datos. Al utilizar las principales optimizaciones del motor OLAP, como el almacenamiento de columnas, la ejecución vectorizada, la ejecución de MPP, la optimización de consultas, etc., ByConity puede proporcionar un excelente rendimiento de lectura y escritura.
La arquitectura de ByConity se divide en tres capas, como se muestra en la figura a continuación, la capa de acceso al servicio incluye el acceso a los datos y servicios del cliente, es decir, ByConity Server; el grupo de cómputo es la capa de recursos de cómputo de ByConity, y cada Almacén Virtual es un grupo informático; la capa de almacenamiento de datos está compuesta por sistemas de archivos distribuidos, como HDFS, S3, etc.
Diagrama de arquitectura técnica de tres niveles de ByConity
Además de tener algunas ventajas de ClickHouse, ByConity también implementa muchas funciones nuevas.
Una ventaja importante de ByConity es
la arquitectura de separación de almacenamiento
e informática , que realiza la separación de lectura y escritura y el escalado elástico. Sus ventajas son alta elasticidad y alta escalabilidad. Esta arquitectura garantiza que las operaciones de lectura y escritura no se afecten entre sí, desvinculando los recursos informáticos y los recursos de almacenamiento, y los dos pueden expandirse y contraerse de forma independiente a pedido para garantizar la utilización eficiente de los recursos. Además, ByConity admite el aislamiento de recursos de múltiples inquilinos para garantizar que los diferentes inquilinos no se afecten entre sí, lo que hace que ByConity sea adecuado para entornos de múltiples inquilinos, como se muestra en la Figura 2.
Separación de almacenamiento e informática de ByConity para lograr el aislamiento de múltiples inquilinos
ByConity admite expansión y contracción
elásticas
, y puede expandir y contraer recursos informáticos en tiempo real y bajo demanda para garantizar un uso eficiente de los recursos. Y puede aislar
los recursos
, y los inquilinos no se verán afectados entre sí. Otra función importante es la fuerte coherencia de lectura y escritura
de datos
,
lo que garantiza que los datos estén siempre actualizados y que no haya incoherencias entre la lectura y la escritura. Además, ByConity adopta la optimización del motor OLAP convencional, como el almacenamiento en columnas, la ejecución vectorizada, la ejecución MPP, la optimización de consultas, etc., para garantizar
un excelente
.
La razón para adoptar el modelo de código abierto es que el equipo del proyecto ByConity espera devolver el proyecto a la comunidad y también espera fortalecer y mejorar ByConity a través del poder de la comunidad. A continuación, ByConity espera mejorar la funcionalidad, el rendimiento y la facilidad de uso de ByConity en su plan de desarrollo comunitario de código abierto para 2023, centrándose en desarrollar nuevos motores de almacenamiento, admitir más tipos de datos e integrarse con otras herramientas de gestión de datos.
El 28 de mayo, Chen Xing, director de la base de datos analítica de ByteDance, asistirá al subforo "Tecnología de datos y bases de datos" de GOTC 2023 y actuará como disertante, pronunciando un discurso de apertura sobre "ByConity: Innovación en tecnología de bases de datos analíticas y camino de apertura". , Explique en detalle las opciones tecnológicas clave en ByConity y comparta las historias detrás del código abierto y la apertura de ByConity.
¡Manténganse al tanto!
La Global Open-source Technology Conference (GOTC) es una gran conferencia de código abierto para desarrolladores globales iniciada conjuntamente por Open Atom Open Source Foundation, Shanghai Pudong Software Park, Linux Foundation Asia Pacific y Open Source China. Del 27 al 28 de mayo, GOTC 2023 llevará a cabo un evento de la industria de código abierto de dos días en Shanghái. La conferencia se mostrará en forma de exhibiciones de la industria, discursos de apertura, foros especiales y mercados de código abierto Los participantes discutirán temas técnicos populares como Metaverse, 3D y juegos, eBPF, Web3.0 y blockchain, así como comunidades de código fuente, AIGC, software automotriz, programación de IA, educación y capacitación de código abierto, nativos de la nube y otros temas candentes, discuta el futuro del código abierto y ayude al desarrollo del código abierto.
¡El canal de registro
para GOTC 2023 ya está abierto, y los entusiastas del código abierto en varios campos técnicos de todo el mundo están sinceramente invitados a unirse al gran evento!
Para registrarse en la conferencia, visite:
https://www.bagevent.com/event/8387611
Ingrese al sitio web oficial para obtener más información, visite:
https://gotc.oschina.net/
{{o.nombre}}
{{m.nombre}}