データベースの移行の問題

データを読み出す(A)スパーク問題が空である
ハイブへデータをポンピング最近データベースマイグレーション、使用Sqoop、次いでスパークを使用してデータを読み出します。
ハイブへのOracleデータをインポートするためのMapReduceプログラムの使用を基礎となるsqoopをテストした後
、我々はハイブエンジンがこれらのテーブルを読んで使用する必要がありますので、あなたには、Sparkを設定するためにコードを追加する必要があります

hiveContext.setConf("spark.sql.hive.convertMetastoreParquet","false")

(B)ハイブライブラリは、読み取りアクセス権を持っていない
本番環境の色合いは、データベースへのアクセス権を与えないので、検針障害の原因となります、

hive> create role asmp;
hive> grant role asmp to user root;
hive> grant select on database db_test to role asmp;
hive> show roles;

(C)試験手順のokが、与えられている生産工程
のすべての私たちのライブラリでは、コードの指定は、テストライブラリasmp_test、特別な理由によるコンフィギュレーションファイルの管理を、統一した後、自然にパッケージ化されて実施したテストされ、その後、設定ファイルを変更します生産ライブラリーが、このコードは、生産実行エラーにつながる、バックに変更されていません!(概要は、INGを反映します)

公開された118元の記事 ウォン称賛25 ビュー15万+

おすすめ

転載: blog.csdn.net/lhxsir/article/details/103764390