Apache Hudi 0.12.2 lançado

Versão de suporte de longo prazo

Nosso objetivo é manter o 0.12 por mais tempo e fornecer uma versão estável com a versão 0.12.x mais recente para a qual os usuários possam migrar. Esta versão (0.12.2) é a versão 0.12 mais recente.

Guia de migração

Esta versão (0.12.2) não introduz nenhuma nova versão de tabela, portanto, se você estiver usando a 0.12.0, não há necessidade de migrar.
Se estiver migrando de uma versão mais antiga, revise as orientações de migração nas notas de versão anteriores, especificamente as instruções de atualização em 0.6.0 , 0.9.0 , 0.10.0 , 0.11.0 e 0.12.0 .

correção de bug

A versão 0.12.2 é principalmente para correção de bugs e estabilidade. Essas correções abrangem muitos componentes, incluindo

DeltaStreamer
Correções de bugs relacionados ao tipo de dados/esquema
Bancada de serviço
tabela de metadados
Faísca SQL
Correções de estabilidade/desempenho do Presto
Correções de estabilidade/desempenho do Trino
metassincronização
Motor Flink
Testes unitários, funcionais, de integração e CI

Notas de versão

Subtarefa

[ HUDI-5244 ] - Corrigir bugs no cliente de evolução de esquema com campo de operação perdido e esquema não encontrado

Erro

[ HUDI-3453 ] - Tabela de metadados lança NPE ao agendar plano de compactação
[ HUDI-3661 ] - A compactação assíncrona do Flink não é segura para thread quando usa marca d'água
[ HUDI-4281 ] - Usar o hudi para construir um grande número de tabelas no spark on hive causa OOM
[ HUDI-4588 ] - Falha na ingestão se a coluna de origem for descartada
[ HUDI-4855 ] - A tabela Bootstrap do Deltastreamer não pode ser lida no Spark
[ HUDI-4893 ] - Mais de 1 divisão é criada para um único arquivo de log da tabela MOR
[ HUDI-4898 ] - para tabela mor, presto/hive deve respeitar a classe de carga útil durante a mesclagem do arquivo parquet e do arquivo de log
[ HUDI-4901 ] - Adicionar versão avro aos perfis do Flink
[ HUDI-4946 ] - mesclar sem preCombineField possui linha duplicada apenas na inserção
[ HUDI-4952 ] - A leitura da tabela de metadados pode falhar quando não há commits concluídos
[ HUDI-4966 ] - Metasync lança exceção se TimestampBasedKeyGenerator for usado para gerar caminho de partição contendo barras
[ HUDI-4971 ] - pacote aws causa problema de carregamento de classe
[ HUDI-4975 ] - pacote de sincronização do datahub causa problema de carregamento de classe
[ HUDI-4998 ] - A inferência de META_SYNC_PARTITION_EXTRACTOR_CLASS não funciona
[ HUDI-5003 ] - InLineFileSystem lançará NumberFormatException, porque o tipo de startOffset é int e está fora dos limites
[ HUDI-5007 ] - Impede que Hudi leia toda a linha do tempo ao realizar uma leitura de streaming MAIS RECENTE
[ HUDI-5008 ] - Evite não definir HoodieROTablePathFilter em IncrementalRelation
[ HUDI-5025 ] - Falha na reversão com arquivo de log não encontrado durante rollOver no processo de reversão
[ HUDI-5041 ] - erro de conflito de registro de métrica de bloqueio
[ HUDI-5057 ] - Corrigir placa hudi de reparo msck
[ HUDI-5058 ] - A chave primária não pode ficar vazia quando o Flink lê um erro da tabela hudi
[ HUDI-5061 ] - operação de inserção em massa não lança outra exceção, exceto exceção IOE
[ HUDI-5063 ] - totalScantime e outras estatísticas de tempo de execução ausentes nos metadados de commit
[ HUDI-5070 ] - Corrigir teste Flaky TestCleaner: testInsertAndCleanByCommits
[ HUDI-5076 ] - Caminho não serializável usado com engineContext com inicialização de tabela de metadados
[ HUDI-5087 ] – Valor máximo lido da metatabela incorreto
[ HUDI-5088 ] - Falha ao sincronizar os metadados do hive da tabela Flink
[ HUDI-5092 ] - Consultar a tabela Hudi lança NoSuchMethodError no tempo de execução do Databricks
[ HUDI-5096 ] - o parâmetro booleano está quebrado no HiveSyncTool
[ HUDI-5097 ] – Ler 0 registros da tabela particionada sem campos de partição nas configurações da tabela
[ HUDI-5151 ] - O salto de dados do Flink não funciona com ClassNotFoundException de InLineFileSystem
[ HUDI-5157 ] - Caminho de partição duplicado para tabelas hudi encadeadas.
[ HUDI-5163 ] - Tratamento de falhas com falhas de gravação do spark ds
[ HUDI-5176 ] - A fonte incremental pode perder commits se houver commits em andamento antes dos commits concluídos
[ HUDI-5185 ] - A execução da compactação falha com --hoodieConfigs
[ HUDI-5203 ] - A carga útil do Debezium não lida com casos de campo nulo
[ HUDI-5228 ] - O trabalho de serviço de tabela Flink fs view conf substitui o trabalho de escrita
[ HUDI-5242 ] - Não falha na sincronização Meta no Deltastreamer quando o serviço de tabela inline falha
[ HUDI-5251 ] - Dependência Avro inesperada no pacote Flink 1.15
[ HUDI-5253 ] - HoodieMergeOnReadTableInputFormat pode ter problemas de registros duplicados se contiver arquivos delta enquanto ainda for divisível
[ HUDI-5260 ] - Inserir no sql com modo de inserção estrito e nenhum preCombineField não deve sobrescrever os registros existentes
[ HUDI-5277 ] - RunClusteringProcedure não pode sair corretamente
[ HUDI-5286 ] - UnsupportedOperationException é lançado ao ativar a nova tentativa do sistema de arquivos
[ HUDI-5291 ] - NPE nas estatísticas da coluna para valores nulos
[ HUDI-5320 ] – O Spark SQL CTAS não propaga as propriedades da tabela para o SparkSqlWriter real
[ HUDI-5325 ] - Corrigido Criar Tabela para propagar corretamente a Tabela de Metadados habilitando configuração
[ HUDI-5336 ] - Correção da análise do arquivo de log para considerar "." no inicio
[ HUDI-5346 ] – Corrigindo armadilhas de desempenho no CTAS
[ HUDI-5347 ] - Corrigir falhas de desempenho do Merge Into
[ HUDI-5350 ] - oom causa perda do evento de compactação
[ HUDI-5351 ] - Lidar com metacampos desabilitados em particionadores de inserção em massa
[ HUDI-5373 ] - Diferentes IDs de arquivo são atribuídos ao mesmo bucket
[ HUDI-5375 ] - Corrigido a reutilização de leitores de arquivos com tabela de metadados no FileIndex
[ HUDI-5393 ] - Remover a reutilização do gravador de tabela de metadados para o cliente flink write
[ HUDI-5403 ] - A classe Input Format tem tabela de metadados habilitada para listagem de arquivos inesperadamente por padrão
[ HUDI-5409 ] - Evite índice de arquivo e use cache de visualização fs no formato de entrada COW
[ HUDI-5412 ] - Envia o evento boostrap caso o JM também tenha reiniciado

Melhoria

[ HUDI-4526 ] - melhorar o diretório do disco spillableMapBasePath está cheio
[ HUDI-4799 ] - melhora a dica de exceção do analisador quando não é possível resolver a expressão
[ HUDI-4960 ] - Atualização da versão Jetty para servidor Timeline
[ HUDI-4980 ] - Faz com que o tamanho médio do registro seja calculado com base apenas no commit instantâneo
[ HUDI-4995 ] - Conflitos de dependência do apache http com outros projetos
[ HUDI-4997 ] - use jackson-v2 substitua a importação de jackson-v1
[ HUDI-5002 ] - Remover uso obsoleto de API em SparkHoodieHBaseIndex#generateStatement
[ HUDI-5027 ] - Substitua as chaves de configuração hbase codificadas por HbaseConstants
[ HUDI-5045 ] - Adicione testes ao teste integ para testar bulk_insert seguido de upsert
[ HUDI-5066 ] - Suporte ao cache metacliente de origem do capuz para o planejador flink
[ HUDI-5102 ] - operador de origem (monitor e leitor) suporta usuário uid
[ HUDI-5104 ] - Adicionar sinalizador de recurso para desativar HoodieFileIndex e voltar para HoodieROTablePathFilter
[ HUDI-5111 ] - Adicionar metadados no suporte de leitura para testes inteiros
[ HUDI-5184 ] - Remover exportação PYSPARK_SUBMIT_ARGS="--master local[*]" de HoodiePySparkQuickstart.py
[ HUDI-5247 ] - Limpar testes de cliente java
[ HUDI-5296 ] - Suporte para desabilitação de esquema na leitura, se não for necessário
[ HUDI-5338 ] - Ajuste o comportamento de coalescência no modo de classificação "NONE" para inserção em massa
[ HUDI-5344 ] - Atualizar com.google.protobuf:protobuf-java
[ HUDI-5345 ] - Evite chamadas fs.exists para tabela de metadados em HFileBootstrapIndex
[ HUDI-5348 ] - Cache de fatias de arquivo no leitor MDT
[ HUDI-5357 ] - Otimizar a implantação de artefatos de lançamento
[ HUDI-5370 ] - Fechar corretamente os identificadores de arquivo para o gravador de metadados

Teste

[ HUDI-5383 ] - Ramo de lançamento do teste 0.12.2

Tarefa

[ HUDI-3287 ] - Remova dependências desnecessárias em hudi-kafka-connect
[ HUDI-5081 ] - Limpeza de recursos em testes de utilitários hudi
[ HUDI-5221 ] - Tome a decisão de usar o índice flink sql bucket sem distinção entre maiúsculas e minúsculas
[ HUDI-5223 ] – Failover parcial para flink
[ HUDI-5227 ] - Atualize o Jetty para 9.4.48