¡Hoy finalmente se lanza la tan esperada versión 3.2.0 de Apache DolphinScheduler! Entre los avances anteriores, incluido "Breaking Trailer!" Apache DolphinScheduler 3.2.0 nueva característica "spoiler"" , "¡Vista previa de la versión 3.2.0! Funciones relacionadas mejoradas de la API Apache DolphinScheduler" , "¡Vista previa de la versión 3.2.0! Los registros remotos resuelven el problema de no poder obtener registros debido a fallas del trabajador" y " 3.2.0 Ultimate Preview! El resumen del artículo "Cloud Native Support New Spark on k8S Support" ha cubierto aproximadamente las nuevas funciones y optimizaciones de la versión 3.2.0.
¡Ahora, echemos un vistazo al nuevo “aspecto” de la nueva versión!
Nota de versión: https://github.com/apache/dolphinscheduler/releases/tag/3.2.0
Dirección de descarga: https://dolphinscheduler.apache.org/en-us/download/3.2.0
Las principales actualizaciones incluyen:
- Agregar inquilino predeterminado
- Agregar múltiples fuentes de datos
- Nuevo tipo de tarea
- Especificar el flujo de trabajo para ejecutar hacia adelante o hacia atrás al volver a ejecutar la tarea
- Agregar función de registro remoto
- Optimización de parámetros
- Centro de Recursos
- Mejorar la usabilidad de la página
- El soporte nativo de la nube agrega compatibilidad con Spark en k8S
- Se agregaron algunas API Restful
- Se agregaron centros de registro ETCD y JDBC al centro de registro.
- Optimización de la arquitectura
Agregar inquilino predeterminado
En versiones anteriores, los usuarios tenían que agregar inquilinos manualmente después de la implementación. Se agregó un inquilino predeterminado en la versión 3.2.0 para facilitar a los usuarios el uso de Apache DolphinScheduler de manera más directa.
Agregar múltiples fuentes de datos
Se han agregado múltiples fuentes de datos, como Snowflake, Databend, Kyuubi, Doris, OceanBase, Dameng, AzureSQL, StarRocks, AWS Athena, y se han actualizado algunas fuentes de datos, como Redshift agregando la clave de acceso.
Nuevo tipo de tarea
Se han agregado varios tipos de misiones nuevos, que incluyen:
-
-
En el módulo general, agregue el componente Remote-Shell y la tarea Java
-
En el módulo Nube, se agregan Amazon DMS, Azure Datafactory y AWS Database Migration para mejorar la interconexión con varias nubes.
-
En el módulo de aprendizaje automático, se agrega el componente Kubeflow (una gran colección de herramientas de tareas de aprendizaje automático creadas en base a la nube nativa).
-
Entre otros módulos se añaden AmazonDatasync y Apache Linkis
-
Algunas tareas se han actualizado, como DataX que admite Presto, tareas http que agregan paso de parámetros de salida y ejecutan lotes para eliminar múltiples tareas de Yarn al mismo tiempo:
Dependiente soporta dependencias de sí mismo:
Admite autenticación Zeppelin;
Además, las tareas ahora pueden admitir el almacenamiento en caché;
Los registros de Sqoop permiten ocultar contraseñas;
Y las tareas SQL admiten cortadores predeterminados:
Función de registro remoto agregada
La versión 3.2.0 agrega una función de registro remoto y admite el almacenamiento de registros de Google Cloud Storage, Amazon S3 y Alibaba Cloud OSS. Los usuarios pueden almacenar registros en la nube editando el archivo de configuración para resolver el problema de la pérdida de registros de Woker en caso de eventos inesperados. situaciones Existe el problema de que los usuarios no pueden ver los registros.
Para obtener más información, consulte la "Vista previa de la versión 3.2.0". Los registros remotos resuelven el problema de no poder obtener registros debido a una falla del trabajador .
Optimización de parámetros
- Parámetros agregados a nivel de proyecto
- Ajuste la prioridad de los parámetros para comenzar con el parámetro más alto
- Se agregaron reglas de cálculo de parámetros integradas.
- Parámetros de tipo de archivo agregados
Relacionado con la nube nativa
- Apoye a KEDA como trabajador para la expansión y contracción automática
- Admite la implementación de Terraform en AWS
- zk y pg admiten múltiples arquitecturas
- Envíe tareas de Spark a Kubernetes (para obtener más detalles, consulte "¡Vista previa definitiva 3.2.0! El soporte nativo de la nube agrega soporte para Spark en k8S" )
- Obtenga registros del pod en tiempo real
- Etiqueta de tarea k8s personalizada
Centro de Recursos
Se agregó soporte para Alibaba Cloud OSS, Huawei Cloud OBS y Azure Blob Storage, se reestructuró el centro de recursos y lo diseñó para usar local como medio de almacenamiento de forma predeterminada, y se volvió a cargar el soporte.
El centro de recursos permite la carga superpuesta, optimiza las rutas de los archivos y muestra la ruta completa del archivo. Además, los archivos del mismo tipo que se cargaron en el centro de recursos en la versión anterior solo se pueden eliminar y volver a cargar. En la nueva versión, esta función se ha optimizado y puede hacer clic en el botón cargar para cargar.
Soporte para recargar archivos
Mejoras de API
En la versión 3.2.0, se agregaron algunas API Restful, incluidas taskInstance, estado de flujo de trabajo, instancia de flujo de trabajo, flujo de trabajo y programación, y relación de tarea, y el ID de instancia se puede obtener cuando la API activa la ejecución del flujo de trabajo, mejorando así significativamente las capacidades de API de Programador Apache Dolphin.
Para obtener más información, consulte: "¡ Vista previa de la versión 3.2.0!" Funciones relacionadas mejoradas de la API Apache DolphinScheduler》
Aumentar la usabilidad de la página
3.2.0 aumenta la usabilidad y conveniencia de la página, como agregar una instancia de flujo de trabajo para saltar al flujo de trabajo actual, copiar el nombre del flujo de trabajo, ajustar el ancho de la columna y otras operaciones.
Saltar a la instancia del flujo de trabajo
Copiar el nombre del flujo de trabajo
Ajustar el ancho del nombre de la lista
De forma predeterminada, habrá un inquilino predeterminado y un centro de recursos local, que se pueden utilizar después de la instalación.
Inquilino predeterminado
Permite volver a ejecutar tareas en instancias de flujo de trabajo y los registros de ejecución de tareas son más claros.
La tarea
json export se puede volver a ejecutar para mejorar la legibilidad.
Centro de registro
Se agregaron centros de registro ETCD y JDBC.
Arquitectura
- La alerta admite HA
- Actualización de un solo subproceso Kerberos
- El servidor trabajador elimina la dependencia de dao
- Asumir el control de la tarea fallida de la instancia de tarea
- Agregar configuración de grupo de tareas dinámicas
- Tareas lógicas refactorizadas y comandos remotos.
- El límite de recursos (memoria de la CPU) cambió de valor absoluto a porcentaje
- SSO es compatible
Entre ellos, una vez que se admite SSO, los usuarios pueden iniciar sesión en SSO a través de Casdoor. Casdoor es una plataforma de gestión de acceso de identidad (IAM)/inicio de sesión único (SSO) orientada a la interfaz de usuario basada en OAuth 2.0, OIDC, SAML y CAS. Primero debe implementar Casdoor y obtener los dos campos "ID de cliente" y "Cliente". secret` y luego modifique el archivo Dolphinscheduler-api/src/main/resources/application.yaml para configurar SSO.
Puede agregar la funcionalidad SSO a Apache Dolphinscheduler a través de Casdoor siguiendo estos pasos:
security:
authentication:
# Authentication types (supported types: PASSWORD,LDAP,CASDOOR_SSO)
type: CASDOOR_SSO
casdoor:
# Your Casdoor server url
endpoint:
client-id:
client-secret:
# The certificate may be multi-line, you can use `|-` for ease
certificate:
# Your organization name added in Casdoor
organization-name:
# Your application name added in Casdoor
application-name:
# Doplhinscheduler login url
redirect-url: http://localhost:5173/login
Lista de contribuyentes
Gracias a @zhongjiajie por su orientación en este lanzamiento y a los siguientes colaboradores por su apoyo:
Lei Jun: La versión oficial del nuevo sistema operativo de Xiaomi, ThePaper OS, ha sido empaquetada. La ventana emergente en la página de lotería de la aplicación Gome insulta a su fundador. Ubuntu 23.10 se lanza oficialmente. ¡También podrías aprovechar el viernes para actualizar! Episodio de lanzamiento de Ubuntu 23.10: La imagen ISO fue "retirada" urgentemente debido a que contenía discurso de odio. Un estudiante de doctorado de 23 años solucionó el "error fantasma" de 22 años en Firefox. Se lanzó el escritorio remoto RustDesk 1.2.3. Wayland mejorado para soportar TiDB 7.4 Lanzamiento: Oficial Compatible con MySQL 8.0. Después de desconectar el receptor USB Logitech, el kernel de Linux falló. El maestro usó Scratch para frotar el simulador RISC-V y ejecutó con éxito el kernel de Linux. JetBrains lanzó Writerside, una herramienta para la creación de documentos técnicos.106umao, Abingcbc, AliceXiaoLu, BongBongBang, CallMeKingsley97, Chris-Arith, DarkAssassinator, EricGao888, EricPyZhou, FlechazoW, Gallardot, GavinGYM, IT-Kwj, LiXuemin, LucasClt, Mukvin, NoSuchField, Orange-Summer, QuantumXiecao, Radeity, Rianico, SY SU - Coder, SbloodyS, Tianqi-Dotes, TyrantLucifer, ZhongJinHacker, Zzih, ahuljh, alei1206, alextinng, amaoisnb, arlendp, baihongbin, bmk15897, boy-xiaozhang, c3Vu, caishunfeng, calvinjiang, darrkz, davidzollo, dddyszy, devosend, edicons s, eye- gu, fengjian1129, fuchanghai, guowei-su, haibingtown, hantmac, hdygxsj, hezean, hiSandog, hoey94, hstdream, huage1994, imizao, insist777, iuhoay, jackfanwan, jbampton, jieguangzhou, kezhenxu94, kingbabingge, labbomb, lenian, ly10 99 74 , lynn-illumio, moonkop, muggleChen, pandong2011, pppppjcc, qianli2022, qindongliang, qingwli, rickchengx, ruanwenjun, sandiegoe, seedscoder, shangeyao, shenyun, simsicon, sketchmind, stalary, tracehh, whhe, xdu-chenrj, xiaomin0322, xingxingi, xuchun lai,xxjingcd,Yeahhhz, youzipi, zhangfane, zhangkuantian, zhaohehuhu,zhoufanglu, zhuangchong, zhutong6688, zhuxt2015, zzzhangqi ¡Este artículo fue publicado por Beluga Open Source Technology !