ハイブテーブルデータマイグレーション（生産クラスター - >テストクラスタ）

あなたは環境試験ハイブテーブルのロジックをテストする必要がありますが、のでテストは、クラスタは、関連テーブルとデータはありませんが、
本番クラスタからファイルをダウンロードした後、色相クラスタで色相によってテストにアップロードする：最も簡単な方法を使用するので、
しかし。。
ハイブテーブルを分割して、各パーティションには、以下のN、複数の小さなファイルです、書き込みシェルスクリプトそうされています。

#! /bin/bash

mkdir -p ./tmp/table
rssc_array=("201901" "201902" "201903" "201904" "201905")

for i in ${rssc_array[*]}
do
     hdfs dfs -get /user/hive/table/partition_brand=vw/partition_date=$i  ./tmp/table/
done
zip -r twdwv1.zip ./tmp/table/
hdfs dfs -put twdwv1.zip  /user/asmp/sql/
rm -rf ./tmp/table
echo "File successfully deleted"

for i in ${rssc_array[*]}
do
     hdfs dfs -get /user/hive/table/partition_brand=skd/partition_date=$i  ./tmp/table/
done
zip -r twdskd1.zip ./tmp/table/
hdfs dfs -put twdskd1.zip  /user/asmp/sql/
rm -rf ./tmp/wd_tt_workitem_detail
rm -f twdskd1.zip
echo "File successfully deleted2"

ダウンロードには2つの圧縮ファイルにブランドのパーティションに応じて（1）、およびHDFSにアップロード
異なる日付でカスタムダウンロードファイルの配列に応じて（2）
、その後、地元の色相に圧縮ファイルをダウンロードし、解凍がテストクラスタにアップロードした後、
最終的には使用することを忘れないでくださいパーティション構造修復するために、テーブルのMSCKコマンド：
ハイブ> MSCK修理テーブルtable_nameを。