大きな発表！Apache DolphinScheduler 3.2.0の新機能「スポイラー」

ファイル

近い将来、Apache DolphinScheduler のバージョン 3.2.0 が登場します。このリリースはメジャーリリースであり、多くの待望の新機能と改善がもたらされます。ユーザーに新バージョンの変更点を事前に感じてもらうため、コミュニティは新バージョンの重要な機能を事前に意図的に「ネタバレ」し、それを紹介するビデオを作成しました。

デフォルトのテナントを追加する

以前のバージョンでは、ユーザーは展開後にテナントを手動で追加する必要がありました。デフォルトのテナントがバージョン 3.2.0 に追加され、誰もが Apache DolphinScheduler をより直接的に簡単に使用できるようになりました。

複数のデータソースを追加する

Snowflake、Databend、Kubi、OceanBase、Dameng、AzureSQL、StarRocks、AWS Athena などの複数のデータソースが追加され、Redshift によるアクセスキーの追加など、いくつかのデータソースが更新されました。

新しいタスクタイプ

次のようないくつかの新しいタスクタイプが追加されました。

一般モジュールにリモートシェルコンポーネントを追加します。
- Cloud モジュールでは、Amazon DMS と Azure Datafactory が追加され、さまざまなクラウドとの相互接続が強化されます。
- 機械学習モジュールには、Kubeflow コンポーネントが追加されます (クラウドネイティブに基づいて構築された機械学習タスクツールの大規模なコレクション)
- 他のモジュールとして、Amazon Datasync と Apache Linkis が追加されています
DataX は Presto をサポートし、http タスクは出力パラメーターの受け渡しを追加し、複数の Yarn タスクを同時に強制終了するバッチを実行するなど、いくつかのタスクを更新しました。
依存者は自分自身への依存をサポートします
ツェッペリンの認証
タスクはキャッシュをサポートします
Sqoop ログはパスワードの非表示をサポートします
SQL タスクはデフォルトのカッターをサポートします

タスクを再実行するときに順方向または逆方向に実行するワークフローを指定します

以前は、タスクの実行が失敗した後、ユーザーはワークフローを通じてのみタスクを再実行できました。新バージョンでは、現在のワークフローを前方または後方に実行するように指定し、失敗したタスクをより柔軟に処理できるようになりました。

リモートログ

リモートログ機能が追加され、Google Cloud Storage、Amazon S3、Alibaba Cloud OSS ログストレージにも同時に対応し、設定ファイルを編集することでログをクラウドに保存できます。

パラメータ

起動パラメータが最高になるようにパラメータの優先順位を調整します。
組み込みパラメータ計算ルールを追加しました
ファイルタイプパラメータを追加しました

リソース・センター

Alibaba Cloud OSS のサポートを追加し、リソースセンターを再構築して、デフォルトでローカルをストレージメディアとして使用するように設計し、再アップロードしました。
リソースセンターでは、オーバーレイアップロード、ファイルパスの最適化、ファイルのパス全体の表示が可能です。また、旧バージョンではリソースセンターにアップロードした同種のファイルは一度削除して再度アップロードすることしかできませんでしたが、新バージョンではこの機能が最適化され、アップロードボタンをクリックするだけでアップロードできるようになりました。

ページのユーザビリティの向上

現在のワークフローにジャンプするワークフローインスタンスの追加、ワークフロー名のコピー、列幅の調整など、ページの使いやすさと利便性を向上させます。
デフォルトでは、デフォルトのテナントとローカルリソースセンターがあり、インストール後に使用できます。
より明確なタスク実行ログを使用して、ワークフローインスタンスでタスクを再実行できます。
json エクスポートの方が読みやすい

クラウドネイティブ関連

KEDAを自動伸縮のワーカーとしてサポート
AWS への Terraform デプロイメントのサポート
zk と pg は複数のアーキテクチャをサポートします
Spark タスクを Kubernetes に送信する
ポッドのリアルタイムログを取得する
カスタム k8s タスクラベル

API

taskInstance、ワークフロー状態、workflowInstance、ワークフローとスケジュール、タスク関係など、いくつかの Restful API を追加しました。
API がワークフローをトリガーしてインスタンス ID を取得します

登録センター

ETCD および JDBC 登録センターを追加しました

建築

アラートは HA をサポートします
シングルスレッド更新 Kerberos
ワーカーサーバーはdao依存関係を削除します
タスクインスタンスの失敗したタスクを引き継ぐ
動的タスクグループ構成の追加
リファクタリングされた論理タスクとリモートコマンド
リソース制限 (CPU メモリ) が絶対値からパーセンテージに変更されました
SSO がサポートされています

3.2.0 の正式版リリースは準備中ですので、最新情報は公式 Web サイトおよび GitHub でご確認ください。

この記事はBeluga Open Source Technologyによって公開されています。