Estimados amigos de la comunidad, después de varios meses, nos complace anunciar que Apache Doris (incubando) marcó el comienzo del lanzamiento oficial de la versión 1.0 Release el 18 de abril de 2022 . Esta es la primera versión de 1 bit de Apache Doris desde que fue incubada por Apache Foundation, ¡y también es la versión con la mayor refactorización del código central de Apache Doris hasta el momento ! Hay 114 colaboradores que han enviado más de 660 optimizaciones y correcciones para Apache Doris, ¡gracias a todos los que hacen que Apache Doris sea aún mejor!
En la versión 1.0, introdujimos funciones importantes como el motor de ejecución vectorizado, la tabla externa de Hive, la sintaxis de vista lateral y la función de tabla de funciones de tabla, el índice de datos de orden Z, el complemento Apache SeaTunnel, etc., y agregamos soporte para actualización y eliminación síncronas. de datos en Flink CDC. Admite, optimiza muchos problemas en el proceso de importación y consulta de datos, y mejora de manera integral el rendimiento de la consulta, la facilidad de uso, la estabilidad y otros efectos especiales de Apache Doris. ¡Bienvenido a descargar y usar!
Gracias especiales
Cada día que no ha sido publicado, hay infinidad de colaboradores detrás , que no se atreven a parar ni medio minuto. Aquí nos gustaría agradecer especialmente a los pequeños socios del SIG (Special Interest Group) como el motor de ejecución vectorizado, el optimizador de consultas y la plataforma visual de operación y mantenimiento . Desde el establecimiento de Apache Doris Community SIG Group en agosto de 2021, se unieron decenas de personas de más de diez empresas, incluidas Baidu, Meituan, Xiaomi, JD, Shuhai, ByteDance, Tencent, NetEase, Alibaba, PingCAP, Nebula Graph, etc. el SIG como los primeros miembros, y por primera vez completó el desarrollo de funciones tan importantes como el motor de ejecución vectorizado, el optimizador de consultas y la plataforma de operación y mantenimiento de monitoreo visual Doris Manager en forma de colaboración de código abierto de grupos especiales, que duró durante más de medio año, docenas de investigación técnica e intercambio, casi 100 reuniones remotas, cientos de confirmaciones enviadas y más de 100,000 líneas de código involucradas . Es gracias a sus contribuciones que salió la versión 1.0. Expresemos una vez más nuestro más sincero agradecimiento por su arduo trabajo!
Al mismo tiempo, el número de colaboradores de Apache Doris superó los 300 (haga clic para revisar: Noticias de la comunidad | ¡Apache Doris da la bienvenida a su colaborador número 300! ), el número de colaboradores activos mensuales superó los 60 y el promedio semanal promedio en las últimas semanas . el número de confirmaciones enviadas también ha superado las 80, y la escala y la actividad de los desarrolladores reunidos por la comunidad han mejorado considerablemente. Tenemos muchas ganas de que más socios pequeños participen en la contribución de la comunidad y trabajen con nosotros para convertir a Apache Doris en la base de datos analítica más importante del mundo. También esperamos que todos nuestros socios pequeños obtengan un crecimiento valioso con nosotros. Si desea participar en la comunidad, comuníquese con nosotros a través del correo electrónico del desarrollador [email protected] .
Actualización importante
En el pasado, el motor de ejecución SQL de Apache Doris se diseñó con base en el formato de memoria basado en filas y el modelo de volcán tradicional.Había una sobrecarga innecesaria en la operación de los operadores y funciones SQL, lo que resultó en una eficiencia limitada de Apache Doris. motor de ejecución y no se adaptó a la arquitectura de las CPU modernas. El objetivo del motor de ejecución vectorizado es reemplazar el actual motor de ejecución de SQL basado en filas de Apache Doris, liberar por completo la potencia informática de las CPU modernas, superar las limitaciones de rendimiento del motor de ejecución de SQL y ejercer un rendimiento extremo.
Basado en las características de las CPU modernas y las características de ejecución del modelo de volcán, el motor de ejecución vectorizado rediseñó el motor de ejecución SQL en el sistema de almacenamiento en columnas:
-
Reorganice la estructura de datos de la memoria, reemplace Tuple con Column, mejore la afinidad de Cache, la predicción de bifurcación y la facilidad de recuperación de memoria durante el cálculo
-
El juicio de tipo se realiza en lotes. En este lote, se usa el tipo determinado durante el juicio de tipo, y el costo de la función virtual de cada fila del juicio de tipo se asigna al nivel de lote.
-
A través del juicio de tipo a nivel de lote, las llamadas a funciones virtuales se eliminan, lo que permite que el compilador tenga la oportunidad de incorporar funciones y optimizar SIMD.
Por lo tanto, la eficiencia de la CPU durante la ejecución de SQL mejora en gran medida y se mejora el rendimiento de la consulta SQL.
En Apache Doris versión 1.0, habilitar el motor de ejecución vectorizado con set batch_size = 4096 y set enable_vectorized_engine = true puede mejorar significativamente el rendimiento de las consultas en la mayoría de los casos. Bajo los conjuntos de datos de prueba estándar SSB y OnTime, el rendimiento general de los dos escenarios de asociación de varias tablas y consulta de columna ancha se mejoró 3 veces y 2,6 veces, respectivamente.
Sintaxis de vista lateral [Experimental ]
A través de la sintaxis de vista lateral, podemos usar funciones de tabla de función de tabla como explotar_bitmap, explotar_dividir, explotar_jaon_array, etc., para expandir el mapa de bits, la cadena o la matriz Json de una columna a varias filas, de modo que los datos expandidos puedan procesarse más (como Filtrar, Unirse, etc.) .
Apariencia de colmena [Experimental]
Hive External Table brinda a los usuarios la capacidad de acceder directamente a las tablas de Hive a través de Doris. Las tablas externas ahorran el tedioso trabajo de importación de datos y pueden usar las capacidades OLAP propias de Doris para resolver los problemas de análisis de datos de las tablas de Hive. La versión actual admite la conexión de fuentes de datos de Hive a Doris y admite consultas federadas a través de datos en fuentes de datos de Doris y Hive para operaciones de análisis más complejas.
Admite el formato de clasificación de datos de orden Z
Los datos de Apache Doris se ordenan y almacenan de acuerdo con la columna de prefijo, por lo que cuando se incluye la condición de consulta de prefijo, se puede realizar una búsqueda rápida de datos en los datos ordenados, pero si la condición de consulta no es una columna de prefijo, la función de clasificación de datos no se puede realizar. Se utiliza para la búsqueda rápida de datos. Los problemas anteriores se pueden resolver mediante la indexación de orden Z. En la versión 1.0, hemos agregado el formato de clasificación de datos de orden Z, que puede tener un buen efecto de filtrado en el escenario de consulta de varias columnas kanban y acelerar el rendimiento de filtrado de no -condiciones de columna de prefijo.
Compatibilidad con el complemento Apache SeaTunnel (incubación)
Apache SeaTunnel es un marco de integración de datos distribuidos de alto rendimiento basado en Apache Spark y Apache Flink. En la versión 1.0 de Apache Doris, agregamos el complemento SaeTunnel, los usuarios pueden usar Apache SeaTunnel para la sincronización y ETL entre múltiples fuentes de datos.
nueva función
Se admiten más funciones de mapa de bits; consulte el manual de funciones para obtener más información:
-
bitmap_max
-
bitmap_and_not
-
bitmap_and_not_count
-
bitmap_has_all
-
bitmap_and_count
-
bitmap_or_count
-
bitmap_xor_count
-
bitmap_subset_limit
-
sub_mapa de bits
Admite el algoritmo secreto nacional SM3/SM4;
Nota : Las funciones marcadas [Experimental] arriba son funciones experimentales. Continuaremos optimizando e iterando las funciones anteriores en versiones posteriores, y las mejoraremos aún más en versiones posteriores. Si tiene alguna pregunta o comentario durante el uso, no dude en contactarnos.
Optimización importante
Optimización de funciones
-
Reduzca la cantidad de archivos de segmento generados al importar en lotes grandes para reducir la presión de compactación.
-
Los datos se transmiten a través de la función de archivo adjunto de BRPC para reducir la sobrecarga de serialización y deserialización en el proceso de consulta.
-
Admite devolución directa de datos binarios de tipo HLL/BITMAP para análisis externo de servicios.
-
Optimice y reduzca la probabilidad de errores OVERCROWDED y NOT_CONNECTED en BRPC, y mejore la estabilidad .
-
Mejorar la tolerancia a fallas de las importaciones.
-
Admite la actualización y eliminación de datos sincrónicamente a través de Flink CDC.
-
Admite filtro de tiempo de ejecución adaptativo.
-
Reduce significativamente la huella de memoria de insertar en operaciones
Mejoras de usabilidad
-
La carga de rutina admite la visualización de estados, como el número de retrasos de compensación actuales.
-
Se agregaron estadísticas sobre el uso máximo de memoria de las consultas en el registro de auditoría de FE.
-
Se agregó información de versión faltante a los resultados de URL de compactación para facilitar la resolución de problemas.
-
Admite el marcado de BE como no consultables o no importables para detectar rápidamente los nodos problemáticos.
Corrección de errores importantes
-
Se corrigieron varios errores de consulta.
-
Se corrigieron algunos problemas de lógica de programación con Broker Load.
-
Se solucionó un problema por el que no se podían cargar los metadatos debido a la palabra clave STREAM.
-
Se corrigió la desactivación que no se ejecutaba correctamente.
-
Solucione el problema de que el error -102 puede ocurrir al operar la operación de cambio de esquema en algunos casos.
-
Solucione el problema de que el uso del tipo String puede causar que BE se bloquee en algunos casos.
otro
Agregue la función Minivolcado;
Instrucciones complementarias
La plataforma de operación y mantenimiento de monitoreo visual Doris Manger también lanzará la versión 1.0 en un futuro cercano. Ha entrado en el proceso de lanzamiento y lanzará un anuncio de lanzamiento de forma independiente en el futuro. Continúe prestando atención.
Descargar y usar
Descargar y usar
http://doris.apache.org/zh-CN/downloads/downloads.html
Instrucciones de actualización
Puede actualizar directamente desde la versión de lanzamiento de Apache Doris 0.15.0 o 0.15.x a la versión de lanzamiento 1.0, consulte la documentación para el proceso de actualización:
http://doris.apache.org/zh-CN/installing/upgrade.html
registro de cambios
Para obtener una nota de la versión detallada, consulte el enlace:
https://github.com/apache/incubator-doris/issues/8549
Comentario
Si encuentra algún problema de uso, no dude en comunicarse con nosotros a través del foro de discusión de GitHub o el grupo de correo de Dev .
Foro de GitHub: https://github.com/apache/incubator-doris/discussions
Grupo de correo de desarrolladores: [email protected]
Gracias
El lanzamiento de la versión 1.0 de Apache Doris(incubating) es inseparable del apoyo de todos los usuarios de la comunidad. Me gustaría expresar mi gratitud a todos los colaboradores de la comunidad que participaron en el diseño, desarrollo, prueba y discusión de la versión.
Ellos son:
@924060929
@adonis0147
@ Aiden-Dong
@aihai
@airborne12
@Alibaba-HZY
@amosbird
@arthuryangcs
@wakeljw
@bingzxy
@BiteTheDDDDt
@blackstar-baba
@caiconghui
@CalvinKirs
@cambyzju
@caoliang-web
@ccoffline
@chaplinthink
@chovy-3012
@ChPi
@DarvenDuan
@dataalive
@dataroaring
@ dh-nube
@dohongdayi
@dongweizhao
@drgnchan
@e0c9
@EmmyMiao87
@englefly
@eyesmoons
@freemandealer
@Gabriel39
@gaodayue
@GoGoWen
@Gongruixiao
@gwdgithubnom
@SucedeLee
@Henry2SS
@hf200012
@hyoung
@jacktengg
@jackwener
@JNSimba
@keysluomo
@kezhenxu94
@killxdcj
@lihuigang
@littleeleventhwolf
@liutang123
@liuzhuang2017
@lonre
@lovingfeel
@luozenglin
@luzhijing
@MeiontheTop
@mh-boy
@morningman
@mrhhsg
@Miasuka
@nimuyuhan
@obobj
@pengxiangyu
@qdaye
@qzsee
@renzhimin7
@Royce33
@SleepyBear96
@pequeñoshibiscus
@sodamnsure
@espacios-X
@sparklezzz
@stalary
@StedyBoy
@tarepanda1024
@THUMarkLau
@tianhui5
@tinkerrrr
@ucasfl
@usuarioblanco
@vinson0526
@wangbo
@wangshuo128
@wangyf0555
@weajun
@weizuo93
@whutpencil
@WindyGao
@wunan1210
@xiaokang
@xiaokangguo
@xiedeyantu
@xinghuayu007
@xingtanzjr
@xinyiZzz
@xtr1993
@xu20160924
@xuliuzhe
@xuzifu666
@xy720
@yangzhg
@yiguolei
@yinzhijian
@yjant
@zbtzbtzbt
@zenoyang
@zh0122
@TeamGirl333
@zhannngchen
@zhengshengjun
@zhengshiJ
@ZhikaiZuo
@ztgoto
@zuochunwei
Enlaces relacionados:
Sitio web oficial de Apache Doris:
http://doris.incubator.apache.org
Apache Doris Githu b:
https://github.com/apache/incubator-doris
Grupo de correo de desarrolladores de Apache Doris: