Recientemente, Apache SeaTunnel lanzó oficialmente la versión 2.3.2. En este momento, han pasado más de dos meses desde que se lanzó la versión anterior 2.3.1 Durante este período, recopilamos y basándonos en los comentarios de los usuarios y desarrolladores, y realizamos correcciones de errores en SeaTunnel Zeta Engine en la versión 2.3.2 , mejorando la estabilidad del motor y la eficiencia de uso.
Además, la nueva versión optimiza la función y el rendimiento de los conectores en Connector V2. Al mismo tiempo, SQL Transfrom admite funciones UDF personalizadas, y Zeta Engine también proporciona supervisión de clústeres y operaciones de consulta a través de la API Rest.
Este artículo presentará los detalles del contenido de la actualización de la versión 2.3.2 de Apache SeaTunnel.
- Nota de publicación: https://github.com/apache/seatunnel/blob/2.3.2-release/release-note.md
- Enlace de descarga: https://seatunnel.apache.org/download
nueva función
En esta actualización, Zeta Engine admite la obtención de información de monitoreo de tareas y sistemas en forma de RestAPI. Los usuarios pueden completar solicitudes de información de datos llamando solicitudes HTTP a cualquier nodo, lo que mejora las capacidades de monitoreo de tareas.
Para obtener más información, consulte: https://seatunnel.apache.org/docs/2.3.2/seatunnel-engine/rest-api
Además, SQL Transform admite funciones UDF personalizadas en la versión 2.3.2. Para obtener información detallada sobre el uso, consulte: https://seatunnel.apache.org/docs/2.3.2/transform-v2/sql-udf
Centro
[Core] [API] Compatibilidad con la opción de conversión de cadena a lista (#4362) [Core] [API] Agregue verificación de opción a FactoryUtil antes de crear fuente, sumidero y transformación (#4424) [Core] [Shade] Se agregó el módulo de sombra de guayaba (# 4358)
Conector-V2
- [Connector-V2] [CDC] [SQLServer] Admite lectura de tablas múltiples (#4377)
- [Connector-V2] [Kafka] La fuente de Kafka admite la omisión de errores de deserialización de datos (#4364)
- [Conector-V2] [Jdbc] [TiDB] Se agregó el directorio TiDB (#4438)
- [Conector-V2][Archivo] Fuente y receptor agregados para el archivo Excel (#4164)
- [Transform-V2] Se agregó UDF SPI y una implementación de muestra para el complemento de transformación de SQL (# 4392)
- [Transform-V2] Lista de campos de copia de soporte (#4404)
- [Transform-V2] Se agregó compatibilidad con CatalogTable para FieldMapperTransform (#4423)
- [Transform-V2] Se agregó compatibilidad con CatalogTable para ReplaceTransform (#4411)
- [Transform-V2] Soporte de catálogo agregado para FilterRowKindTransform (#4420)
- [Transform-V2] Se agregó compatibilidad con CatalogTable para FilterFieldTransform (#4422)
motor zeta
- [Zeta] Admite el uso mixto de Factory y Plugin SPI (#4359)
- [Zeta] Se agregó API REST para obtener información de trabajo en ejecución por ID de trabajo (# 4140)
- [Zeta] Se agregó API REST para obtener información de monitoreo del sistema (#4315)
- [Transform V2 y Zeta] Habilite SplitTransform para admitir la evolución de CatalogTable y CatalogTable (n.º 4396)
Mejorar
La versión Apache SeaTunnel 2.3.2 corrige la estabilidad del motor Zeta, resuelve el problema del uso excesivo de memoria y no lo libera, resuelve el problema de una gran cantidad de uso de recursos y optimiza el rendimiento en consecuencia.
Centro
- [Core][Spark] Empuje las operaciones de transformación de Spark Driver a Executors (#4503)
- [Core] [Starter] Optimizar la estructura del código, eliminar el código redundante (#4525)
- [Core] [Traducción] [Flink] Optimizar la estructura del código y eliminar el código redundante (#4527)
Conector-V2
- [Conector-V2] [CDC] Mejorar las opciones de modo de inicio/modo de detención (#4360)
- [Conector-V2] [CDC] Optimizar la opción de tamaño de búsqueda de jdbc (#4352)
- [Connector-V2][SQLServer] Solucionado el problema del directorio de SQL Server (#4441)
- [Conector-V2] [StarRocks] Mejorar mensaje de error de serialización de StarRocks (#4458)
- [Connector-V2] [Jdbc] Se agregó el registro de SQL y se actualizaron algunos estilos (#4475)
- [Conector-V2] [Jdbc] Se solucionó el problema de que el nombre de la tabla no se puede obtener automáticamente cuando hay varias tablas (# 4514)
- [Connector-V2] [S3 y Kafka] Elimina los directorios no disponibles de S3 y Kafka (#4477)
- [Conector-V2] [Pulsar] admite formato Canal
motor zeta
- [Zeta] Admite la ejecución del servidor en modo daemon (#4161)
- [Zeta] Mejore la compatibilidad del SDK del cliente con ClassLoader (#4447)
- [Zeta] El cliente admite el envío de trabajos de forma asíncrona (#4456)
- [Zeta] Agregue una salida de registro más detallada (#4446)
- [Zeta] Mejora el script seatunnel-cluster.sh (#4435)
- [Zeta] Reduce el consumo de CPU cuando las tareas no están listas (#4479)
- [Zeta] Añadir registro de analizador (#4485)
- [Zeta] Eliminar código redundante (#4489)
- [Zeta] Eliminar código redundante en validateSQL (#4506)
- [Zeta] Mejorar el rendimiento de JobMetrics (#4467)
Corrección de errores
Centro
*[Core][API] Se solucionó el problema de que faltaba la clase común de la lista (#4421) *[Core][API] Se solucionó el problema de que la clave de tipo de datos de fila anidada de análisis se convierte en mayúscula (#4459)
Conector-V2
- [Json-format] [Canal-Json] Se corrigió una excepción de puntero nulo al deserializar JSON (# 4195)
- [Conector-V2] [Jdbc] Los alias de campo fijos no se admiten en las consultas de origen de JDBC (n.º 4210)
- [Conector-V2] [Jdbc] Se corrigió la falla de conexión causada por el tiempo de espera de conexión (# 4322)
- [Conector-V2] [Jdbc] Establezca el valor predeterminado de JdbcOption: generate_sink_sql en falso (#4471)
- [Connector-V2][Pulsar] Se solucionó un problema por el cual los mensajes no se podían consumir continuamente (# 4125)
- [Connector-V2] [Eleasticsearch] Se corrigió la descripción incorrecta del documento (#4390)
- [Connector-V2][Eleasticsearch] Errores de deserialización de fuente fija y problemas inapropiados (#4233)
- [Connector-V2] [Kafka] Se corrigió que el recurso KafkaProducer nunca se publicara (#4302)
- [Connector-V2] [Kafka] Se corrigió client.id que causaba problemas de permisos (#4246)
- [Connector-V2] [Kafka] Se solucionó el problema de que KafkaConsumerThread salía debido a un desplazamiento de confirmación incorrecto (# 4379)
motor zeta
- [Zeta] Solucionado el problema del caso de prueba LogicalDagGeneratorTest (#4401)
- [Zeta] Se corrigió MultipleTableJobConfigParser analizando solo una transformación (# 4412)
- [Zeta] Se corrigió la falta del paquete jar de complemento común (# 4448)
- [Zeta] Se corrigió que handleCheckpointError aún se llamara cuando se completó el punto de control (# 4442)
- [Zeta] Se corrigió un error en el que los mensajes de error del trabajo eran incorrectos (#4463)
- [Zeta] Se corrigió el error de encontrar nodos de implementación de TaskGroup (#4449)
- [Zeta] Arreglado el error del archivo de configuración (#4488)
- [Zeta] Solucionado el problema de lógica con la carga de conectores desde zeta (#4510)
- [Zeta] Solucionado el problema de dependencia del conflicto hadoop-hdfs (#4509)
E2E
*[E2E] [Kafka] Se solucionó el problema de los casos de prueba de extremo a extremo de Kafka (#4520) *[Versión del contenedor] se solucionó el problema de riesgo de los casos de prueba que no se pueden reproducir #4591
optimización de documentos
- [Docs] Parte optimizada de la documentación del conector Doris y SelectDB (#4365)
- [Documentos] Problemas de estilo de código fijos en documentos (#4368)
- [Docs] Documentación actualizada de jdbc y kafka (#4380)
- [Documentos] Se corrigió el valor predeterminado de max_retries en 0 (#4383)
- [Docs] Solucionado el problema de sintaxis de Markdown (#4426)
- [Documentos] Se corrigió la clave de configuración incorrecta "kafka" de los documentos de Kafka (n.º 4427).
- [Documentos] Se agregó la sección Transformar en el inicio rápido v2 (#4436)
lista de contribuyentes
¡Gracias a Fan Jia, un ingeniero de código abierto de Beluga, por su apoyo para el lanzamiento de esta versión y las contribuciones de los siguientes socios de la comunidad!
Andrés Wetmore,
el dolor,
Carl-Zhou-CN,
Cason-ACE,
chengyu yan,
CodificaciónGPT,
dalong,
eric,
FlechazoW,
cantón liu,
hao xu,
JARVIS,
Kim,
Laglangyue,
marvin,
TaoZex,
tiranolucifer,
sol xiaojian,
Zhilin Li,
zongwen li,
debería,
gnehil,
llamando0,
ic4y,
kezhenxu94,
luzzhao,
suertelilili,
lvshaokang,
mengxiaoopeng,
monstruo,
canciónjianet,
stdnt-xiao,
tomas,
voluntad27,
Guau,
xiaofan2012,
zhilinli,
espuma
¡ Este artículo está respaldado por la tecnología de código abierto de Beluga !