ステップバイステップのチュートリアル MO | SeaTunnel を使用して MatrixOne にデータを書き込む方法

[ライブブロードキャストプレビュー] 99元のクラウド仮想マシン × 9元のクラウドネイティブアーキテクチャ√

1。概要

SeaTunnel は、大量のデータ (オフライン データやリアルタイム データを含む) の同期と変換に焦点を当てた、分散型、高性能、簡単に拡張可能なデータ統合プラットフォームです。MatrixOne は、SeaTunnel を使用して他のデータベースからのデータを同期することをサポートしており、数百億のデータを安定して効率的に処理できます。

このドキュメントでは、SeaTunnel を使用して MatrixOne にデータを書き込む方法を紹介します。

 

2. 始める前の準備

SeaTunnel を使用して MatrixOne にデータを書き込む前に、必ず次の準備を完了してください。

• MatrixOneのインストールと起動が完了しました。
• SeaTunnel バージョン 2.3.3 のインストールが完了しました。インストールが完了したら、シェル コマンド ラインを使用して SeaTunnel のインストール パスを定義できます。

export SEATNUNNEL_HOME="/root/seatunnel"

3つの操作ステップ

テストデータの作成

ステップ1

test1 という名前の MySQL データベースを作成し、その中に test_table という名前のテーブルを作成し、root 下の mysql.sql に保存します。以下は MySQL の DDL ステートメントです。

create database test1;
use test1;
CREATE TABLE `test_table` (
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

ステップ2

mo_ctl ツールを使用して、MySQL の DDL ステートメントを MatrixOne に直接インポートします。次のコマンドを実行します。

mo_ctl sql /root/mysql.sql

コネクタ プラグインをインストールする

このドキュメントでは、SeaTunnel の Connector-jdbc 接続プラグインを使用して MatrixOne に接続する方法を紹介します。

ステップ1

SeaTunnel の ${SEATNUNNEL_HOME}/config/plugin_config ファイルに次の内容を追加します。

--connectors-v2--
connector-jdbc
--end--

ステップ2

バージョン 2.3.3 の SeaTunnel バイナリ パッケージは、デフォルトではコネクタの依存関係を提供しません。SeaTunnel を初めて使用するときは、次のコマンドを実行してコネクタをインストールする必要があります。

sh bin/install-plugin.sh 2.3.3

4 タスク構成ファイルを定義する

このドキュメントでは、データ処理を実行せずに、MySQL データベースの test_table テーブルをデータ ソースとして使用し、MatrixOne データベースの test_table テーブルにデータを直接書き込みます。

次に、データの互換性の問題により、タスク構成ファイル ${SEATNUNNEL_HOME}/config/v2.batch.config.template を構成する必要があります。これは、SeaTunnel の開始後のデータの入力、処理、出力のメソッドとロジックを定義します。

構成ファイルを次のように編集します。

env {
  execution.parallelism = 2
  job.mode = "BATCH"
}

source {
    Jdbc {
        url = "jdbc:mysql://192.168.110.40:3306/test"
        driver = "com.mysql.cj.jdbc.Driver"
        connection_check_timeout_sec = 100
        user = "root"
        password = "123456"
        query = "select * from test_table"
    }
}

transform {

}

sink {
   jdbc {
        url = "jdbc:mysql://192.168.110.248:6001/test"
        driver = "com.mysql.cj.jdbc.Driver"
        user = "root"
        password = "111"
        query = "insert into test_table(name,age) values(?,?)"
   }
}

データベースの依存関係をインストールする

mysql-connector-java-8.0.33.jar をダウンロードし、ファイルを ${SEATNUNNEL_HOME}/plugins/jdbc/lib/ ディレクトリにコピーします。

SeaTunnel アプリケーションを実行する

次のコマンドを実行して SeaTunnel アプリケーションを起動します。

./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

実行結果の表示

SeaTunnel の実行後、書き込み時間、読み取りデータの合計数、書き込みの合計数、書き込み失敗の合計数を要約した、次のような統計結果が表示されます。

***********************************************
           Job Statistic Information
***********************************************
Start Time                : 2023-08-07 16:45:02
End Time                  : 2023-08-07 16:45:05
Total Time(s)             :                   3
Total Read Count          :             5000000
Total Write Count         :             5000000
Total Failed Count        :                   0
***********************************************

MySQL データベースから MatrixOne データベースにデータを同期的に書き込むことができました。

 

マトリックスワンについて

MatrixOne は、パブリック クラウドとプライベート クラウドの両方に展開できるクラウド ネイティブ テクノロジーに基づくマルチモード データベースです。本製品は、ストレージとコンピューティングの分離、読み出しと書き込みの分離、ホットとコールドの分離といった独自の技術アーキテクチャを採用しており、ストレージとストレージのセットでトランザクション、分析、フロー、タイミング、ベクトルなどの複数の負荷を同時にサポートすることができます。コンピューティング システムを統合し、分離または共有のストレージおよびコンピューティング リソースをリアルタイムおよびオンデマンドで実行できます。クラウド ネイティブ データベース MatrixOne は、ユーザーがますます複雑化する IT アーキテクチャを大幅に簡素化し、最小限で非常に柔軟で費用対効果の高い高性能のデータ サービスを提供するのに役立ちます。

MatrixOne Enterprise Edition と MatrixOne Cloud Services は、リリース以来、インターネット、金融、エネルギー、製造、教育、医療などの多くの業界で適用されています。独自のアーキテクチャ設計により、ユーザーはハードウェアと運用および保守のコストを最大 70% 削減し、開発効率を 3 ～ 5 倍向上させることができ、同時に市場の需要の変化により柔軟に対応し、イノベーションの機会をより効率的に掴むことができます。 。同じハードウェアに投資する場合、MatrixOne は数倍のパフォーマンス向上を達成できます。

MatrixOne は、オープン ソースとエコロジカルな共同構築の概念を遵守しています。すべてのコア コードはオープン ソースであり、MySQL プロトコルと完全に互換性があります。MatrixOne はパートナーと複数のエンドツーエンド ソリューションを作成し、ユーザーの移行と使用コストを大幅に削減しました。ベンダーロックインのリスク。

MatrixOrigin 公式 Web サイト:新世代のハイパーコンバージド ヘテロジニアス オープン ソース データベース - MatrixOrigin (Shenzhen) Information Technology Co., Ltd. MatrixOne

Github 仓库：GitHub - matrixorigin/matrixone: ハイパーコンバージド クラウド エッジ ネイティブ データベース

キーワード:ハイパーコンバージドデータベース、マルチモードデータベース、クラウドネイティブデータベース、国内データベース

Bilibiliは2度クラッシュ、テンセントの「3.29」第1レベル事故…2023年のダウンタイム事故トップ10を振り返る Vue 3.4「スラムダンク」リリース MySQL 5.7、莫曲、李条条…2023年の「停止」を振り返る 続き” (オープンソース) プロジェクトと Web サイトが 30 年前の IDE を振り返る: TUI のみ、明るい背景色... Vim 9.1 がリリース、 Redis の父 Bram Moolenaar に捧げ、「ラピッド レビュー」LLM プログラミング: Omniscient 全能&&愚かな 「ポスト・オープンソースの時代が来た。ライセンスの有効期限が切れ、一般ユーザーにサービスを提供できなくなった。チャイナ ユニコムブロードバンドが突然アップロード速度を制限し、多くのユーザーが苦情を申し立てた。Windows 幹部は改善を約束した: Make the Start」メニューもまた素晴らしいです。 パスカルの父、ニクラス・ヴィルトが亡くなりました。

{{名前}}

{{名前}}