ステップバイステップのチュートリアル MO | DolphinScheduler を使用して MatrixOne に接続する方法

[ライブブロードキャストプレビュー] 99元のクラウド仮想マシン × 9元のクラウドネイティブアーキテクチャ√

1。概要

Apache DolphinScheduler は、視覚的な DAG ワークフロータスクスケジューリングのための、分散型で拡張が容易なオープンソースシステムです。ライフサイクル全体にわたってタスク、ワークフロー、データ処理プロセスを視覚的に操作できるソリューションを提供します。

Apache DolphinScheduler の主な目標は、複雑なビッグデータタスクの依存関係を解決することです。DAG (Directed Acyclic Graph) ストリーミング方式を使用してタスクを組み立てることにより、タスクの実行状況をリアルタイムに監視でき、タスクのリトライ、指定ノードの回復失敗、一時停止、再開、終了などの操作をサポートします。

MatrixOne は、ビジュアル DAG ワークフロータスクスケジューリングシステム DolphinScheduler との接続をサポートしています。この記事では、DolphinScheduler を通じて MatrixOne に接続し、タスクワークフローを作成する方法を説明します。

2. 始める前の準備

MatrixOneのインストールと起動が完了しました。
以上でDolphinSchedulerのインストールは完了です。

3 MySQLドライバーを構成する

1. MySQL ドライバーをダウンロードし、libs ディレクトリにコピーします。

インストールが完了したら、mysql-connector-java ドライバー (バージョン 8.0.16) を手動でダウンロードし、それを DolphinScheduler インストールディレクトリの下の 4 つのディレクトリ (api-server/libs、alert-server/libs) にコピーする必要があります。、マスターサーバー/libs、およびワーカーサーバー/libs。

Note
推荐使用 `mysql-connector-java-8.0.16.jar` 作为 MySQL 驱动包。

2.DolphinSchedulerを再起動します

ドライバーパッケージをコピーした後、DolphinScheduler サービスを再起動する必要があります。まず、DolphinScheduler のインストールディレクトリに移動し、次のコマンドを実行して DolphinScheduler サービスを再起動します。

# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

3.DolphinSchedulerにログインします

次の図に示すように、デフォルトのユーザー名 admin とパスワード dolphinscheduler123 を使用してhttp:// ip:12345/dolphinscheduler /uiにアクセスし、 DolphinScheduler Web ユーザーインターフェイスにログインします。

4. データソースの作成

[データソースセンター] > [データソースの作成]をクリックし、MatrixOne データ接続情報を入力します。完了したら、[接続のテスト]をクリックします。接続が成功した場合は、[OK]をクリックして保存します。

4 プロジェクトのワークフローを作成する

1.テナントを作成する

次の図に示すように、セキュリティセンターで[テナントの作成] をクリックし、テナント名を入力します。

Note

在生产环境中，不建议使用 root 作为租户。

2. プロジェクトを作成する

プロジェクト管理で、「プロジェクトの作成」をクリックし、以下に示すようにプロジェクト名を入力します。

3. ワークフローを作成してノードを追加する

前の手順で作成したプロジェクトの名前をクリックし、[ワークフローの作成]をクリックします。SQLノードを左側から右側のキャンバスにドラッグし、ノード名、データソース情報、SQL タイプ、SQL ステートメントを入力して、[OK]をクリックします。以下に示すように:

この手順ではテーブル作成ノードが作成され、SQL ステートメントを使用してテーブルが作成されます。

次に、同様に挿入データとクエリデータのノードを作成します。これら 3 つのノードの依存関係は次のとおりで、手動で接続できます。

3 つのノードの SQL ステートメントは次のとおりです。

#create_table
CREATE TABLE IF NOT EXISTS test_table (id INT AUTO_INCREMENT PRIMARY KEY, name
VARCHAR(255) NOT NULL)
#insert_data
INSERT INTO test_table (name) VALUES ('John Doe')
#select_data
SELECT * FROM test_table

これら 3 つのノードを依存関係に従って接続し、「保存」をクリックします。ワークフロー名を入力し、以前に作成したテナントを選択し、実行戦略として並列を選択して、「OK」をクリックします。

ワークフローを作成した後、ワークフロー関係ページで作成されたワークフローを確認でき、そのステータスは[ワークフローオフライン]になります。

同様に、ワークフロー定義ページで定義されたワークフローを確認することもできます。そのステータスはオフラインです。

4. オンラインに接続してワークフローを実行します

ワークフローは実行する前にオンラインにする必要があります。[オンラインにする]ボタンをクリックして、以前に作成したワークフローをオンラインにします。

オンラインになった後のワークフローのステータスは次のようになります。

次に、「実行」ボタンをクリックし、開始前構成パラメータを設定して、「OK」をクリックします。

最後に、プロジェクトの概要に戻り、次の図に示すように、ワークフローと次の 3 つのタスクが正常に実行されたかどうかを確認します。

マトリックスワンについて

MatrixOne は、パブリッククラウドとプライベートクラウドの両方に展開できるクラウドネイティブテクノロジーに基づくマルチモードデータベースです。本製品は、ストレージとコンピューティングの分離、読み出しと書き込みの分離、ホットとコールドの分離といった独自の技術アーキテクチャを採用しており、ストレージとストレージのセットでトランザクション、分析、フロー、タイミング、ベクトルなどの複数の負荷を同時にサポートすることができます。コンピューティングシステムを統合し、分離または共有のストレージおよびコンピューティングリソースをリアルタイムおよびオンデマンドで実行できます。クラウドネイティブデータベース MatrixOne は、ユーザーがますます複雑化する IT アーキテクチャを大幅に簡素化し、最小限で非常に柔軟で費用対効果の高い高性能のデータサービスを提供するのに役立ちます。

MatrixOne Enterprise Edition と MatrixOne Cloud Services は、リリース以来、インターネット、金融、エネルギー、製造、教育、医療などの多くの業界で適用されています。独自のアーキテクチャ設計により、ユーザーはハードウェアと運用および保守のコストを最大 70% 削減し、開発効率を 3 ～ 5 倍向上させることができ、同時に市場の需要の変化により柔軟に対応し、イノベーションの機会をより効率的に掴むことができます。。同じハードウェアに投資する場合、MatrixOne は数倍のパフォーマンス向上を達成できます。

MatrixOne は、オープンソースとエコロジカルな共同構築の概念を遵守しています。すべてのコアコードはオープンソースであり、MySQL プロトコルと完全に互換性があります。また、ユーザーの移行を大幅に削減するために、パートナーと複数のエンドツーエンドソリューションを作成しました。

キーワード：ハイパーコンバージドデータベース、マルチモードデータベース、クラウドネイティブデータベース、国内データベース。

MatrixOrigin 公式 Web サイト:新世代のハイパーコンバージドヘテロジニアスオープンソースデータベース - MatrixOrigin (Shenzhen) Information Technology Co., Ltd. MatrixOne

Github 仓库：GitHub - matrixorigin/matrixone: ハイパーコンバージドクラウドエッジネイティブデータベース