Estimados amigos de la comunidad, Apache Doris versión 2.0.2 se lanzó oficialmente el 6 de octubre de 2023. Esta versión ha actualizado y optimizado múltiples funciones para satisfacer mejor las necesidades de los usuarios. 92 contribuyentes han enviado elementos de optimización funcional y soluciones de problemas para la versión Apache Doris 2.0.2, lo que mejoró aún más la estabilidad y el rendimiento del sistema. Todos son bienvenidos a descargarlo y experimentarlo.

Descarga de GitHub: https://github.com/apache/doris/releases/tag/2.0.2-rc05

Página de descarga oficial: https://doris.apache.org/download/

Actualizaciones importantes

Elimine el operador json "->" que entra en conflicto con la sintaxis de la función lambda y utilice la función json_extract en su lugar. #24679
metadata_failure_recoverySe movieron los parámetros de # 24308
El valor nulo en un tipo común se representa mediante \n. El valor nulo en un tipo complejo o tipo anidado es coherente con el tipo JSON y se representa mediante nulo. # 24207
Optimice la estrategia de enlace del elemento de configuración de red_prioridad del nodo BE. Si el usuario configura la red_prioridad incorrecta, el inicio fallará directamente para evitar que el usuario piense erróneamente que la configuración es correcta. Si el usuario no configura Priority_network, solo se selecciona la primera IP de la lista de IPv4 en lugar de seleccionar entre todas las IP para evitar que el servidor del usuario no admita IPv4. # 23795 # 23784
Admite la cancelación de reintentos de tareas de importación y soluciona el problema de la cancelación fallida de la carga. # 17730

Optimización de funciones

01 Facilidad de uso mejorada

En algunos escenarios, los usuarios necesitan agregar algunas bibliotecas personalizadas al clúster, como lzo.jar, orai18n.jar, etc. En versiones anteriores, estos archivos lib estaban ubicados en fe/lib o be/lib, pero al actualizar el clúster, la biblioteca lib será reemplazada por la nueva biblioteca lib, lo que provocará que se pierdan todas las bibliotecas lib personalizadas. En la nueva versión, se agrega un nuevo directorio personalizado custom_lib para FE y BE , donde los usuarios pueden colocar archivos lib personalizados. #23887
Admite el control de acceso a permisos basado en roles de usuario e implementa estrategias de control de permisos detalladas a nivel de fila. #23022

02Mejorar la recopilación de estadísticas de Nereidas del optimizador de consultas

Deshabilite la caché de archivos al ejecutar tareas de análisis. Las tareas de análisis son tareas en segundo plano y no deberían afectar los datos de la caché de archivos local del usuario. #23663
En versiones anteriores, las columnas con errores se ignoraban al visualizar sus estadísticas. En la nueva versión, cuando el valor mínimo o máximo no se puede deserializar, la visualización de las estadísticas de la columna utilizará N/A como valor mínimo o máximo y aún mostrará las estadísticas restantes, incluido el recuento, el recuento nulo, el ndv, etc. #23703
Admite la recopilación de estadísticas de tablas externas JDBC. #23965
Omita la verificación de estadísticas en __internal_schemacolumnas desconocidas. #24625information_schema

03 Optimización de la función de catálogo múltiple

Compatible con vistas de Hadoop; #24168
Optimice los problemas relacionados con la reproducción y el alcance de la suma de comprobación del catálogo JDBC; #22369
Mensajes de error y verificación de propiedades del catálogo JDBC optimizados. #23868
Se corrigió el problema de análisis del tipo decimal del catálogo MaxCompute y el uso incorrecto de la dirección de almacenamiento de objetos. #24242
Admite caché SQL del catálogo Hive Metastore. #23391
Se mejoró el rendimiento de sincronización de metadatos de Hive Metastore Catalog. #22869
Agregue metadata_name_ids para obtener rápidamente catálogos, bases de datos y tablas, sin actualizar el catálogo al crear o eliminar catálogos y tablas, y agregue una tabla de creación de perfiles para que sea compatible con MySQL. #22702

04Optimización del rendimiento del índice invertido

Aumente el caché de consultas del índice bkd. El caché puede acelerar el rendimiento de la consulta cuando se alcanza el índice bkd. El efecto es más obvio en escenarios de alta concurrencia; #23952
Mejorar el rendimiento de la consulta del índice invertido en el operador Count; #24678
Se mejoró la eficiencia del operador Match cuando falla el índice y el rendimiento aumentó hasta 60 veces en el rendimiento de la prueba; #24751
Rendimiento de consulta mejorado de MATCH y MATCH_ALL en índice invertido; #23871 #24389

05 Optimización de la función de matriz

Se optimizó el problema de que la función Array de la versión anterior del optimizador de consultas no puede manejar el tipo decimal; #23630
Soporte de función de matriz optimizada array_union para múltiples parámetros; #24327
Admite el procesamiento de tipos complejos anidados en matrices mediante la función de explosión; #24455

Corrección de errores

Esta versión corrige algunos errores que existían en la versión anterior, mejorando en gran medida la estabilidad general del sistema. Para obtener la lista completa de errores, consulte el registro de confirmaciones de GitHub: https://github.com/apache/doris/issues/ 25011

¡Se lanza oficialmente la versión 2.0.2 de Apache Doris!