Apache Hudi 0.12.2 lanzado

Versión de soporte a largo plazo

Nuestro objetivo es mantener 0.12 por más tiempo y proporcionar una versión estable con la última versión 0.12.x para que los usuarios puedan migrar. Esta versión (0.12.2) es la última versión 0.12.

Guía de migración

Esta versión (0.12.2) no introduce ninguna versión nueva de la tabla, por lo que si está utilizando la versión 0.12.0, no es necesario migrar.
Si migra desde una versión anterior, revise la guía de migración en las notas de la versión anterior, específicamente las instrucciones de actualización en 0.6.0 , 0.9.0 , 0.10.0 , 0.11.0 y 0.12.0 .

arreglo del fallo

La versión 0.12.2 es principalmente para corrección de errores y estabilidad. Estas correcciones abarcan muchos componentes, incluidos

DeltaStreamer
Correcciones de errores relacionados con el tipo de datos/esquema
Servicio de mesa
tabla de metadatos
Chispa SQL
Correcciones de estabilidad/rendimiento de Presto
Correcciones de estabilidad/rendimiento de Trino
metasincronización
motor parpadeante
Pruebas unitarias, funcionales, de integración y CI

Notas de lanzamiento

Subtarea

[ HUDI-5244 ] - Corrige errores en el cliente de evolución de esquema con campo de operación perdido y esquema no encontrado

Bicho

[ HUDI-3453 ] - La tabla de metadatos genera NPE al programar el plan de compactación
[ HUDI-3661 ] - La compactación asíncrona de Flink no es segura para subprocesos cuando se usa una marca de agua
[ HUDI-4281 ] - El uso de hudi para crear una gran cantidad de tablas en Spark on Hive provoca OOM
[ HUDI-4588 ] - La ingesta falla si se elimina la columna de origen
[ HUDI-4855 ] - La tabla Bootstrap de Deltastreamer no se puede leer en Spark
[ HUDI-4893 ] - Se crean más de 1 división para un único archivo de registro para la tabla MOR
[ HUDI-4898 ] - para más tablas, presto/hive debe respetar la clase de carga útil durante la combinación del archivo parquet y el archivo de registro
[ HUDI-4901 ] - Agregue la versión avro a los perfiles de Flink
[ HUDI-4946 ] - fusionar sin preCombineField tiene una fila duplicada solo en inserción
[ HUDI-4952 ] - La lectura de la tabla de metadatos puede fallar cuando no hay confirmaciones completadas
[ HUDI-4966 ] - La metasincronización genera una excepción si se utiliza TimestampBasedKeyGenerator para generar la ruta de partición que contiene barras
[ HUDI-4971 ] - El paquete AWS provoca un problema de carga de clases
[ HUDI-4975 ] - El paquete de sincronización de Datahub causa un problema de carga de clases
[ HUDI-4998 ] - La inferencia de META_SYNC_PARTITION_EXTRACTOR_CLASS no funciona
[ HUDI-5003 ] - InLineFileSystem generará NumberFormatException, porque el tipo de startOffset es int y está fuera de límites
[ HUDI-5007 ] - Evita que Hudi lea la línea de tiempo completa cuando realiza una ÚLTIMA lectura de transmisión
[ HUDI-5008 ] - Evite desarmar HoodROTablePathFilter en IncrementalRelation
[ HUDI-5025 ] - La reversión falló y no se encontró el archivo de registro cuando se realizó la reversión en el proceso de reversión
[ HUDI-5041 ] - error de conflicto de registro de métrica de bloqueo
[ HUDI-5057 ] - Repara la placa hudi de reparación de msck
[ HUDI-5058 ] - La clave principal no puede estar vacía cuando Flink lee un error de la tabla hudi
[ HUDI-5061 ] - La operación de inserción masiva no genera otra excepción excepto la excepción IOE
[ HUDI-5063 ] - faltan totalScantime y otras estadísticas de tiempo de ejecución en los metadatos de confirmación
[ HUDI-5070 ] - Arreglar la prueba Flaky TestCleaner: testInsertAndCleanByCommits
[ HUDI-5076 ] - Ruta no serializable utilizada con EngineContext con inicialización de tabla de metadatos
[ HUDI-5087 ] - Valor máximo leído de la metatabla incorrecto
[ HUDI-5088 ] - No se pudieron sincronizar los metadatos de la colmena de la tabla Flink
[ HUDI-5092 ] - La consulta de la tabla Hudi arroja NoSuchMethodError en el tiempo de ejecución de Databricks
[ HUDI-5096 ] - El parámetro booleano no funciona en HiveSyncTool
[ HUDI-5097 ] - Leer 0 registros de una tabla particionada sin campos de partición en las configuraciones de la tabla
[ HUDI-5151 ] - La omisión de datos de Flink no funciona con ClassNotFoundException de InLineFileSystem
[ HUDI-5157 ] - Ruta de partición duplicada para tablas hudi encadenadas.
[ HUDI-5163 ] - Manejo de fallas con fallas de escritura de Spark DS
[ HUDI-5176 ] - La fuente incremental puede omitir confirmaciones si hay confirmaciones en vuelo antes de las confirmaciones completadas.
[ HUDI-5185 ] - La ejecución de compactación falla con --hoodieConfigs
[ HUDI-5203 ] - La carga útil de Debezium no maneja casos de campos nulos
[ HUDI-5228 ] - El trabajo de servicio de tabla de Flink fs view conf sobrescribe el del trabajo de escritura
[ HUDI-5242 ] - No falla la metasincronización en Deltastreamer cuando falla el servicio de tabla en línea
[ HUDI-5251 ] - Dependencia avro inesperada en el paquete flink 1.15
[ HUDI-5253 ] - HoodieMergeOnReadTableInputFormat podría tener un problema de registros duplicados si contiene archivos delta mientras aún se puede dividir
[ HUDI-5260 ] - Insertar en SQL con modo de inserción estricto y sin preCombineField no debería sobrescribir los registros existentes
[ HUDI-5277 ] - RunClusteringProcedure no puede salir correctamente
[ HUDI-5286 ] - Se produce una excepción UnsupportedOperationException al habilitar el reintento del sistema de archivos
[ HUDI-5291 ] - NPE en estadísticas de columna para valores nulos
[ HUDI-5320 ] - Spark SQL CTAS no propaga las propiedades de la tabla al SparkSqlWriter real
[ HUDI-5325 ] - Se corrigió Crear tabla para propagar correctamente la tabla de metadatos permitiendo la configuración
[ HUDI-5336 ] - Se corrigió el análisis del archivo de registro para considerar "." al principio
[ HUDI-5346 ] - Corrección de trampas de rendimiento en CTAS
[ HUDI-5347 ] - Se corrigió la combinación en trampas de rendimiento
[ HUDI-5350 ] - Se perdió el evento de compactación por causa de la habitación
[ HUDI-5351 ] - Manejar metacampos que se deshabilitan en particiones de inserción masiva
[ HUDI-5373 ] - Se asignan diferentes ID de archivo al mismo depósito
[ HUDI-5375 ] - Se corrigió la reutilización de lectores de archivos con tabla de metadatos en FileIndex
[ HUDI-5393 ] - Elimina la reutilización del escritor de tablas de metadatos para el cliente de escritura flink
[ HUDI-5403 ] - La clase de formato de entrada tiene la tabla de metadatos habilitada para el listado de archivos de forma inesperada de forma predeterminada.
[ HUDI-5409 ] - Evite el índice de archivos y use la caché de vista fs en formato de entrada COW
[ HUDI-5412 ] - Envía el evento boostrap si el JM también se reinició

Mejora

[ HUDI-4526 ] - mejora que el directorio del disco derrameMapBasePath esté lleno
[ HUDI-4799 ] - mejora la sugerencia de excepción del analizador cuando no se puede resolver la expresión
[ HUDI-4960 ] - Actualización de la versión Jetty para el servidor Timeline
[ HUDI-4980 ] - Calcula el tamaño de registro promedio basándose únicamente en el instante de confirmación
[ HUDI-4995 ] - Conflictos de dependencia en Apache http con otros proyectos
[ HUDI-4997 ] - use jackson-v2 reemplace la importación de jackson-v1
[ HUDI-5002 ] - Elimina el uso obsoleto de API en SparkHoodieHBaseIndex#generateStatement
[ HUDI-5027 ] - Reemplace las claves de configuración de hbase codificadas con HbaseConstants
[ HUDI-5045 ] - Agregue pruebas a la prueba integrada para probar Bulk_insert seguido de upsert
[ HUDI-5066 ] - Soporte de caché de metacliente de origen de sudadera con capucha para Flink Planner
[ HUDI-5102 ] - operador de origen (monitor y lector) compatible con uid de usuario
[ HUDI-5104 ] - Agregue un indicador de función para deshabilitar HoodFileIndex y recurrir a HoodROTablePathFilter
[ HUDI-5111 ] - Agregar metadatos sobre soporte de lectura a pruebas integradas
[ HUDI-5184 ] - Elimina export PYSPARK_SUBMIT_ARGS="--master local[*]" de HoodiePySparkQuickstart.py
[ HUDI-5247 ] - Limpiar pruebas de cliente java
[ HUDI-5296 ] - Admite la desactivación del esquema en lectura si no es necesario
[ HUDI-5338 ] - Ajusta el comportamiento de fusión dentro del modo de clasificación "NINGUNO" para inserción masiva
[ HUDI-5344 ] - Actualización com.google.protobuf:protobuf-java
[ HUDI-5345 ] - Evite llamadas a fs.exists para la tabla de metadatos en HFileBootstrapIndex
[ HUDI-5348 ] - Caché de porciones de archivos dentro del lector MDT
[ HUDI-5357 ] - Optimice la implementación de artefactos de lanzamiento
[ HUDI-5370 ] - Cerrar correctamente los identificadores de archivos para el escritor de metadatos

Prueba

[ HUDI-5383 ] - Prueba de rama de versión 0.12.2

Tarea

[ HUDI-3287 ] - Elimina departamentos innecesarios en hudi-kafka-connect
[ HUDI-5081 ] - Limpieza de recursos en pruebas de hudi-utilities
[ HUDI-5221 ] - Tome la decisión de que el índice del depósito SQL de Flink no distinga entre mayúsculas y minúsculas
[ HUDI-5223 ] - Conmutación por error parcial para flink
[ HUDI-5227 ] - Actualice Jetty a 9.4.48