データ統合(データ統合)は、異機種混在ストレージ・システム間でデータの両方を提供するために、アリのグループ、データソースの20+種類の異なるネットワーク環境下でオフラインで提供して信頼性の高い、安全な、低コスト、弾性スケーラブルなデータ同期プラットフォーム(あります全額/増分)チャネルのうちデータが、それはアリグループは、安定的かつ効率的、弾力性のスケーラブルなデータ同期プラットフォームの両方を提供することです。私たちは、複雑なネットワーク環境、異種データソースと安定した高速データ移動と同期機能との間でデータの富を提供することにコミットしています。
アリクラウドデータ統合プラットフォームの詳細:アリクラウドデータ統合プラットフォームのチュートリアル
オフライン(バッチ)データ同期の紹介
オフラインのデータソースとデータセットのデータソースと宛先を定義することによって、メインチャネルデータの(バッチ)、抽象化データ抽出プラグ(と呼ばれるリーダー)、プラグインデータを書き込む(以下ライター)さを提供し、に基づいて構造化、半構造化データソースのいずれかとの間のデータ転送の目的を達成するように、中間フレームのこの簡略化は、データの伝送フォーマットを設計します。
サポートするデータソースの種類
次のように統合は、データソースをサポートする豊富なデータを提供します。
テキストストレージ(FTP / SFTP / OSS /マルチメディアファイルなど)。
データベース(RDS / DRDS / MySQLの/ PostgreSQLの、など)。
NoSQLの(Memcacheの/ Redisの/のMongoDB / HBaseの等)。
大規模なデータ(MaxCompute / AnalyticDB / HDFS、等)。
MPPデータベース(MySQL用のHybridDB、など)。
詳細については、を参照してくださいデータソースの種類をサポート。
注意:
各データ・ソースの構成情報ので、大きなギャップがクエリパラメータの使用に基づくより詳細な情報が必要です。そのため、データソースの設定は、設定ページは、ジョブの詳細な説明を提供し、そのクエリに応じてご使用ください。
同期の開発ノート
ウィザードモードとスクリプトモード:2つの開発モードの同時開発を提供します。
ウィザードモード:可視化を通じてウィザード導かれた開発を提供し、データ同期タスクを設定支援するために迅速に作業、次回の起動時に記入します。低コストの学習ガイドモードがありますが、高度な機能のいくつかを楽しむことができません。
スクリプトモード:あなたが直接学習のコストが高い、高度なユーザーのために開発を同期させるためにJSONデータ同期スクリプトでデータを書き込むことによってこれを行うことができます。スクリプトモードは、より豊かで柔軟な機能を提供することができ、構成管理は、罰金を行います。
注意:
生成されたコードは、スクリプトモードに変換することができますウィザードモードは、これは一方向の操作に変換され、変換が完了した後、ウィザードモードに復元することはできません。スクリプトモード機能は、ガイドモードのスーパーセットであるため。
コードを書く前に、プロファイルを作成し、データソースのテーブルを対象とする必要があります。
ネットワークタイプ説明
クラシックネットワーク、独自のネットワーク(VPC)、IDCローカルネットワーク(計画):ネットワークの種類に分かれています。
クラシックネットワーク:クラウドアリ内に配備公共インフラの統合ネットワーク、アリクラウドを担当するネットワークの計画と管理、ネットワークへの顧客の使用要件が比較的高い容易にするために、より適しています。
プライベートネットワーク:ベースのアリ雲が分離されたネットワーク環境を構築します。あなたは完全に独自のIPアドレスの範囲、分割されたセグメントの選択を含め、自分の仮想ネットワークを制御するだけでなく、ルーティングテーブルおよびゲートウェイを設定することができます。
IDCローカルネットワーク:独自のネットワーク環境の部屋を構築し、アリクラウドネットワークが利用できない隔離されています。
クラシック独自のネットワークとネットワーク関連の問題は、以下を参照してください古典的なネットワークとVPCよくある質問よくある質問を 。
追加情報:
パブリックネットワーク接続をサポートできるネットワーク接続は、ネットワークの種類には、古典的なネットワークを選択することができます。スピード公衆ネットワーク帯域幅の消費と関連するネットワークコストことに注意してください。特別な事情が推奨されません。
ネットワーク接続、データの同期を計画、あなたは、データの同期のための伝送ソリューションの新しいスクリプト+モードを実行するために、ローカルリソースを使用することができます。または参照SHELL +データXスキーム使用DATAXシェルを使用してタスクを実行します。
データ統合は、RDS-MySQLを提供してVPCは、あなたがIPアドレス、サブネット、プロプライエタリとゲートウェイおよびその他のネットワークセキュリティを向上させる、独自のネットワークをますます広く使用の範囲をカスタマイズすることができ、独自のネットワーク分離されたネットワーク環境を構築することです、RDS-SQL Serverの、RDS-PostgreSQLは、自動的に独自のネットワークを介してシステムの下で、VPC同じネットワークECSと通信できるようにするために、ネットワークを検出しますリバースプロキシを購入する必要はありません。アリクラウド他のデータベースのPPASの場合などOceanBase、Redisを、MongoDBの、Memcacheの、TableStore、HBaseのも、フォローアップのサポートを提供します。したがって、プライベートネットワークで、非RDSソースデータ同期タスクのコンフィギュレーション・データ統合ネットワークは、ECSで通信できるように、ECS同じネットワークを購入します。
制限事項
サポートのみ構造支持体は、(例えば、RDS、DRDS等)、半構造化、非構造化データの同期を(OSS、TXTは、特定の抽象データは、構造化データを同期しなければならない必要)。つまり、データの統合は、抽象的論理2次元テーブル、いくつかのMP3に保存されているなど、OSSなどの他の完全に非構造化データは、データ統合はまだMaxComputeへの支援を同期させることができ、同期データ伝送をサポートし、この機能は後半に実装されます。
互いに同期した単一の地理的領域データ記憶領域と一部を横切って支持、交換データの同期が必要です。
古典的な伝送ネットワークにより、一部の地域では保証されません。あなたは古典的なテストを使用しなければならない、とのネットワークがある場合は、接続されているパブリックネットワークを使用することを検討してください。
唯一の完全なデータ同期(送信)、自身が消費データ・ストリームを提供していません。
より高品質の技術的なコース:
アリクラウド大学の公式サイト(アリクラウド大学-公式サイト、創造的な才能クラウドエコロジーワークショップの下)
ます。https://www.jianshu.com/p/05016a7dbf6aで再現