DataX および DataX-Web のインストールと使用方法の詳細な説明

記事ディレクトリ

少し前に、Ali のオフラインデータ同期ツール datax をプロジェクトで使用し、大規模なテーブル同期のプロセスでいくつかの落とし穴を踏んだことがありましたので、皆さんのお役に立てればと思い、詳しく紹介します。

この記事では、まず datax と datax-web のインストールと使用方法を紹介します。これは比較的簡単ですが、実際の使用プロセスにはまだ改善が必要な部分が多くあります。後の記事では引き続き datax と datax-web のソースコードパッケージ化について紹介します。、Oracle 更新データをサポートするための二次開発お待ちください。

datax の紹介: https://github.com/alibaba/DataX/blob/master/introduction.md
ソースアドレス: https://github.com/alibaba/DataX
インストールパッケージアドレス: http://datax-opensource.oss- cn-hangzhou.aliyuncs.com/datax.tar.gz
プラグイン開発マニュアル: https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md
環境要件: JDK (1.8 以上) + Python (Python2) .6 .X+)

1.DataXのインストール

1.datax.tar.gzを解凍します。

Windows は直接解凍しますが、Linux は次のコマンドを使用します。

#解压，目录自己定
tar -zxvf datax.tar.gz -C /opt/module/

ここに画像の説明を挿入

2. セルフテストスクリプトを実行します。

解凍された bin ディレクトリに入り、セルフテストスクリプトを実行すると、job.json スクリプトがジョブディレクトリにあります。

cd /opt/module/datax/bin/
python datax.py /opt/module/datax/job/job.json

セルフテストが成功すると、次のようになります。

ここに画像の説明を挿入

2. Datax-Web のインストール

DataX Web は、DataX 上に開発された分散データ同期ツールであり、使いやすいインターフェイスを提供します。

環境要件:

MySQL (5.5+) を選択する必要があり、対応するクライアントをオプションとしてインストールできます。MySQL のクライアントが Linux サービスにインストールされている場合、デプロイメントスクリプトを通じてデータベースを迅速に初期化できます。
JDK (1.8.0_xxx) が必要です
Maven (3.6.1 以降) が必要
DataX が必要です
Python (2.x) (Python3 をサポートするには、datax/bin にある 3 つの Python ファイルを変更して置換する必要があります。置換ファイルは doc/datax-web/datax-python3 にあります) 必須、主にスケジュールと実行に使用されます基礎となる DataX の起動スクリプト。デフォルトの方法では DataX を Java サブプロセスモードで実行します。ユーザーは Python モードでカスタム変換を実行することを選択できます。

ダウンロードアドレス: https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg抽出コード: cpsk

ソースアドレス: https://github.com/WeiYe-Jing/datax-web

1. DataXWeb インストールパッケージを解凍します。

tar -zxvf datax-web-2.1.2.tar.gz

ここに画像の説明を挿入

以降の操作を容易にするために、ディレクトリの名前を datax-web に変更します。

mv datax-web-2.1.2 datax-web

2. ワンクリックインストールスクリプトを実行します。

解凍されたディレクトリに入り、bin ディレクトリの下で install.sh ファイルを見つけます。対話型インストールを選択した場合は、それを直接実行します。

cd datax-web
./bin/install.sh

対話型モードでは、各モジュールのパッケージ圧縮パッケージの解凍とconfigure構成スクリプトの呼び出しを確認するメッセージが表示され、プロンプトに従ってインストールが成功したかどうかを確認できます。、もう一度試してください; 対話モードを使用したくない場合は、スキップしてください。確認プロセスの後、次のコマンドを実行してインストールします。

./bin/install.sh --force

簡単にするため、ここでは対話型インストールは使用しません。mysql コマンドがサービスにインストールされている場合、インストールスクリプトの実行中に次のリマインダーが表示されます。

ここに画像の説明を挿入

必要事項を入力したらインストールを完了します。

mysql コマンドがサービスにインストールされていない場合は、ディレクトリ内の /bin/db/datax-web.sql スクリプトを使用して手動で実行できます。

ここに画像の説明を挿入

完了したら、主にコントローラー datax-admin/conf/application.yml とエグゼキューター datax-executor/conf/application.yml を含む関連する設定ファイルを変更します。ここでは紹介せず、ソースコードのパッケージ化を記述します。後で、そこで構成は同じです。

3. サービスを開始する

./bin/start-all.sh

ここに画像の説明を挿入

ワンクリックですべてのサービスをキャンセル

./bin/stop-all.sh

プロジェクトを実行する

アクセス: http://ip:9527/index.html、ユーザー名管理者パスワード 123456 を入力してシステムにアクセスします

ここに画像の説明を挿入