[アリ]ビッグデータクラウドデータ統合プラットフォームのチュートリアル

データ統合(データ統合)は、異機種混在ストレージ・システム間でデータの両方を提供するために、アリのグループ、データソースの20+種類の異なるネットワーク環境下でオフラインで提供して信頼性の高い、安全な、低コスト、弾性スケーラブルなデータ同期プラットフォーム(あります全額/増分)チャネルのうちデータが、それはアリグループは、安定的かつ効率的、弾力性のスケーラブルなデータ同期プラットフォームの両方を提供することです。私たちは、複雑なネットワーク環境、異種データソースと安定した高速データ移動と同期機能との間でデータの富を提供することにコミットしています。

アリクラウドデータ統合プラットフォームの詳細:アリクラウドデータ統合プラットフォームのチュートリアル

オフライン(バッチ)データ同期の紹介

オフラインのデータソースとデータセットのデータソースと宛先を定義することによって、メインチャネルデータの(バッチ)、抽象化データ抽出プラグ(と呼ばれるリーダー)、プラグインデータを書き込む(以下ライター)さを提供し、に基づいて構造化、半構造化データソースのいずれかとの間のデータ転送の目的を達成するように、中間フレームのこの簡略化は、データの伝送フォーマットを設計します。

13308139-0dd10b542deede04.png

サポートするデータソースの種類

次のように統合は、データソースをサポートする豊富なデータを提供します。

テキストストレージ(FTP / SFTP / OSS /マルチメディアファイルなど)。

データベース(RDS / DRDS / MySQLの/ PostgreSQLの、など)。

NoSQLの(Memcacheの/ Redisの/のMongoDB / HBaseの等)。

大規模なデータ(MaxCompute / AnalyticDB / HDFS、等)。

MPPデータベース(MySQL用のHybridDB、など)。

詳細については、を参照してくださいデータソースの種類をサポート

注意:

各データ・ソースの構成情報ので、大きなギャップがクエリパラメータの使用に基づくより詳細な情報が必要です。そのため、データソースの設定は、設定ページは、ジョブの詳細な説明を提供し、そのクエリに応じてご使用ください。

同期の開発ノート

ウィザードモードとスクリプトモード:2つの開発モードの同時開発を提供します。

ウィザードモード:可視化を通じてウィザード導かれた開発を提供し、データ同期タスクを設定支援するために迅速に作業、次回の起動時に記入します。低コストの学習ガイドモードがありますが、高度な機能のいくつかを楽しむことができません。

スクリプトモード:あなたが直接学習のコストが高い、高度なユーザーのために開発を同期させるためにJSONデータ同期スクリプトでデータを書き込むことによってこれを行うことができます。スクリプトモードは、より豊かで柔軟な機能を提供することができ、構成管理は、罰金を行います。

注意:

生成されたコードは、スクリプトモードに変換することができますウィザードモードは、これは一方向の操作に変換され、変換が完了した後、ウィザードモードに復元することはできません。スクリプトモード機能は、ガイドモードのスーパーセットであるため。

コードを書く前に、プロファイルを作成し、データソースのテーブルを対象とする必要があります。

ネットワークタイプ説明

クラシックネットワーク、独自のネットワーク(VPC)、IDCローカルネットワーク(計画):ネットワークの種類に分かれています。

クラシックネットワーク:クラウドアリ内に配備公共インフラの統合ネットワーク、アリクラウドを担当するネットワークの計画と管理、ネットワークへの顧客の使用要件が比較的高い容易にするために、より適しています。

プライベートネットワーク:ベースのアリ雲が分離されたネットワーク環境を構築します。あなたは完全に独自のIPアドレスの範囲、分割されたセグメントの選択を含め、自分の仮想ネットワークを制御するだけでなく、ルーティングテーブルおよびゲートウェイを設定することができます。

IDCローカルネットワーク:独自のネットワーク環境の部屋を構築し、アリクラウドネットワークが利用できない隔離されています。

クラシック独自のネットワークとネットワーク関連の問題は、以下を参照してください古典的なネットワークとVPCよくある質問よくある質問を 

追加情報:

パブリックネットワーク接続をサポートできるネットワーク接続は、ネットワークの種類には、古典的なネットワークを選択することができます。スピード公衆ネットワーク帯域幅の消費と関連するネットワークコストことに注意してください。特別な事情が推奨されません。

ネットワーク接続、データの同期を計画、あなたは、データの同期のための伝送ソリューションの新しいスクリプト+モードを実行するために、ローカルリソースを使用することができます。または参照SHELL +データXスキーム使用DATAXシェルを使用してタスクを実行します

データ統合は、RDS-MySQLを提供してVPCは、あなたがIPアドレス、サブネット、プロプライエタリとゲートウェイおよびその他のネットワークセキュリティを向上させる、独自のネットワークをますます広く使用の範囲をカスタマイズすることができ、独自のネットワーク分離されたネットワーク環境を構築することです、RDS-SQL Serverの、RDS-PostgreSQLは、自動的に独自のネットワークを介してシステムの下で、VPC同じネットワークECSと通信できるようにするために、ネットワークを検出しますリバースプロキシを購入する必要はありません。アリクラウド他のデータベースのPPASの場合などOceanBase、Redisを、MongoDBの、Memcacheの、TableStore、HBaseのも、フォローアップのサポートを提供します。したがって、プライベートネットワークで、非RDSソースデータ同期タスクのコンフィギュレーション・データ統合ネットワークは、ECSで通信できるように、ECS同じネットワークを購入します。

制限事項

サポートのみ構造支持体は、(例えば、RDS、DRDS等)、半構造化、非構造化データの同期を(OSS、TXTは、特定の抽象データは、構造化データを同期しなければならない必要)。つまり、データの統合は、抽象的論理2次元テーブル、いくつかのMP3に保存されているなど、OSSなどの他の完全に非構造化データは、データ統合はまだMaxComputeへの支援を同期させることができ、同期データ伝送をサポートし、この機能は後半に実装されます。

互いに同期した単一の地理的領域データ記憶領域と一部を横切って支持、交換データの同期が必要です。

古典的な伝送ネットワークにより、一部の地域では保証されません。あなたは古典的なテストを使用しなければならない、とのネットワークがある場合は、接続されているパブリックネットワークを使用することを検討してください。

唯一の完全なデータ同期(送信)、自身が消費データ・ストリームを提供していません。

より高品質の技術的なコース:

アリクラウド大学の公式サイト(アリクラウド大学-公式サイト、創造的な才能クラウドエコロジーワークショップの下

ます。https://www.jianshu.com/p/05016a7dbf6aで再現

おすすめ

転載: blog.csdn.net/weixin_33873846/article/details/91275166