В ближайшем будущем Apache DolphinScheduler представит версию 3.2.0. Этот выпуск является основным выпуском и принесет много долгожданных новых функций и улучшений. Чтобы пользователи могли заранее ощутить изменения в новой версии, сообщество заранее намеренно «испортило» важные возможности новой версии и сняло видео с ними.
Добавить арендатора по умолчанию
В предыдущих версиях пользователям приходилось вручную добавлять клиентов после развертывания. В версии 3.2.0 был добавлен клиент по умолчанию, чтобы упростить для всех более непосредственное использование Apache DolphinScheduler.
Добавить несколько источников данных
Было добавлено несколько источников данных, таких как Snowflake, Databend, Kyuubi, OceanBase, Dameng, AzureSQL, StarRocks, AWS Athena, а также были обновлены некоторые источники данных, такие как Redshift, добавляющий ключ доступа.
Новый тип задачи
Добавлено несколько новых типов задач, например
- В общий модуль добавьте компонент Remote-shell
- В модуль Cloud добавлены Amazon DMS и Azure Datafactory для улучшения взаимодействия с различными облаками.
- В модуль машинного обучения добавлен компонент Kubeflow (большая коллекция инструментов для задач машинного обучения, созданная на основе облачных технологий).
- Среди других модулей добавлены Amazon Datasync и Apache Linkis.
- Обновлены некоторые задачи, например DataX поддерживает Presto, задачи HTTP добавляют передачу выходных параметров и запускают пакеты для одновременного уничтожения нескольких задач Yarn.
- Зависимый поддерживает, полагаясь на себя
- Аутентификация Цеппелина
- Задачи поддерживают кэширование
- Журналы Sqoop поддерживают сокрытие паролей
- Задачи SQL поддерживают резак по умолчанию
Укажите рабочий процесс, который будет выполняться вперед или назад при повторном запуске задачи.
Раньше после сбоя выполнения задачи пользователи могли только повторно запустить ее через рабочий процесс. В новой версии мы можем указать текущий рабочий процесс, который будет выполняться вперед или назад, и более гибко обрабатывать невыполненные задачи.
удаленный журнал
Была добавлена функция удаленного журнала, одновременно поддерживаются хранилище журналов Google Cloud Storage, Amazon S3 и Alibaba Cloud OSS. Вы можете хранить журналы в облаке, редактируя файлы конфигурации.
параметр
- Настройте приоритет параметра так, чтобы параметры запуска были самыми высокими.
- Добавлены встроенные правила расчета параметров.
- Добавлены параметры типа файла.
Ресурсный центр
- Добавлена поддержка Alibaba Cloud OSS, реструктуризирован ресурсный центр и спроектирован так, чтобы он по умолчанию использовал локальный носитель данных, а затем повторно загружен.
- Центр ресурсов позволяет накладывать загрузку, оптимизирует пути к файлам и отображает все пути к файлам. Кроме того, файлы того же типа, которые были загружены в ресурсный центр в предыдущей версии, можно только удалить и загрузить снова. Эта функция была оптимизирована в новой версии, и вы можете нажать кнопку загрузки, чтобы загрузить.
Повысьте удобство использования страницы
- Повысьте простоту использования и удобство страницы, например добавив экземпляр рабочего процесса для перехода к текущему рабочему процессу, скопировав имя рабочего процесса, отрегулировав ширину столбца и т. д.
- По умолчанию будет арендатор по умолчанию и локальный ресурсный центр, который можно будет использовать после установки.
- Разрешить повторный запуск задач в экземпляре рабочего процесса, более понятный журнал выполнения задач
- Экспорт json более читабелен
Связанные с облачными технологиями
- Поддержка KEDA в качестве работника для автоматического расширения и сжатия.
- Поддержка развертывания Terraform на AWS
- zk и pg поддерживают несколько архитектур
- Отправка искровых задач в Kubernetes
- Получайте журналы модулей в реальном времени
- Пользовательская метка задачи k8s
API
- Добавлены некоторые API-интерфейсы Restful, включая TaskInstance, состояние рабочего процесса, WorkflowInstance, рабочий процесс и расписание, связь задач.
- API запускает рабочий процесс для получения идентификатора экземпляра
регистрационный центр
Добавлены центры регистрации ETCD и JDBC.
архитектура
- Alert поддерживает высокую доступность
- Однопоточное обновление Kerberos
- Рабочий сервер удаляет зависимость Dao
- Возьмите на себя невыполненную задачу экземпляра задачи
- Добавить конфигурацию динамической группы задач
- Рефакторинг логических задач и удаленных команд.
- Предел ресурса (памяти процессора) изменен с абсолютного значения на процентное.
- Поддерживаемый единый вход
Процесс выпуска официальной версии 3.2.0 находится в стадии подготовки, поэтому следите за последними новостями на официальном сайте и GitHub!
Эта статья опубликована Beluga Open Source Technology !