クラウドアリEMRに自作のHadoopデータ移行

著者:ユンクイ、でもマンネリ

ベストプラクティスの概要

シナリオ

パブリック・クラウド環境または自己Hadoopクラスタ、データ分析タスクのためにHDFSファイルシステムに格納されたデータセット内のIDCの顧客。しかし、長期的なデータが原因クラウド移行ニーズにスペースの制約の自己HDFS、Hadoopのクラスタまたは顧客に保存することはできません。本実施形態の実践は、次のシーンのベストプラクティスを提供します。

ベースのIPSec VPNは、+ DistCp(Hadoopのネイティブツール)は、クラウドアリEMRクラスター、HDFS、OSSと珍島のアリアリ雲雲EMRを含むターゲットストレージにデータを移行するトンネル

テクニカルアーキテクチャ

技術アーキテクチャとメインプロセス、以下に示す製造手順に基づいて、本実施形態の実践。
image.png

メリット

  • 安全
    のIPSec VPN /専用線によるデータの安全な伝送モード。
  • 低コストは、
    EMRアリクラウドのHadoopクラスタのタイプで作成され、自己Hadoopクラスタはアリ雲EMRは、基盤となるストレージスペースとしてOSSを使用し、さらにコストを削減することができ、同じ時間に比べて一定のコスト上の利点を持っています。

この記事前に、次の手順を実行する必要があります


おすすめ

転載: yq.aliyun.com/articles/742132