動画投稿者 | 王維羅
ビデオプロデューサー |
編集 | デブラ・チェン
Apache DolphinScheduler バージョン 3.2.0 がリリースされますが、このバージョンアップの主な内容を事前に皆様に知っていただくために、「Breaking Preview!」をはじめとした概要を説明する動画やコンテンツをいくつか制作しました。Apache DolphinScheduler 3.2.0新機能「スポイラー」」、「3.2.0バージョンプレビュー！」Apache DolphinScheduler API関連機能を強化』、『3.2.0バージョンプレビュー！リモート ログは、ワーカーの障害によりログを取得できない問題を解決します。
本日は、ユーザーも注目しているもう一つのクラウドネイティブ関連の機能アップデートをご紹介します。
https://www.bilibili.com/video/BV1e8411Q789/?vd_source=e59b2227d15c7740a5c5f40e4a675095
今日は、Apache DolphinScheduler 3.2.0 の新しいクラウドネイティブ機能を紹介したいと思います。主に 2 つの部分に分かれています。
- K8S タスク タイプの機能強化
- K8SでのSparkの新機能のサポート
K8S タスク タイプの強化
主に次の 3 つの新機能を紹介します。
- カスタムラベルのサポート
- カスタム ノード セレクターのサポート
- タスクログのリアルタイム収集をサポート
最初の 2 つの機能については、K8S 自体がさまざまなタイプのオブジェクトのラベルを定義する機能を提供しているため、ユーザーはオブジェクトをより適切に管理することもできます。
さらに、ユーザーはノード セレクターを定義して、オブジェクトを指定したノードにスケジュールすることもできます。これら 2 つの機能は、運用環境のユーザーにとって非常に役立ちます。したがって、バージョン 3.2.0 でもこれら 2 つの機能をサポートすることを選択します。
リアルタイム ログ収集は、実際にはバージョン 3.1.X よりも改善されています。以前は、Apache DolphinScheduler は、K8S タスクの実行に失敗した場合、最後から数行のエラー ログのみを収集していましたが、明らかにすべてのログをリアルタイムで収集することは、よりユーザー フレンドリーな機能です。
K8S タイプのタスクを実行して、これら 3 つの機能強化の効果を確認してみましょう (ビデオ 01:11s ～ 03:06s を参照)。
Spark on K8S サポート
バージョン 3.2.0 では、Apache DolphinScheduler はネイティブ K8S クラスターへの Spark 送信モードをサポートします。
K8S ワークフローの事前定義された Spark を例にとると、この Spark タスクでは、新しい選択ボックス (名前空間) が追加されていることがわかります。ユーザーが名前空間を選択した場合、つまり名前空間が空ではない場合、ユーザーは実行のために Spark タスクを K8S クラスターに送信することを期待していると考えられます。
同様に、このタスクでは、ユーザーはオプションをカスタマイズすることもできます。詳細については、Spark 公式 Web サイトを参照して、K8S クラスターのステータスに応じてオプションを定義できます。
Spark on K8S タスクでは、Driverpod のログをリアルタイムで収集し、Driverpod のライフサイクル管理も実行します。現在のタスクが正常に実行された場合はポッドを削除しますが、実行が失敗した場合は、ユーザーが診断分析を実行できるようにポッドはクラスターに残ります。
実行ステータスを確認します (ビデオ 04:03 秒以降を参照)。
この記事はBeluga Open Source Technologyによって公開されています。