初めに書く
Sqoopは、見に来てくれた友達はすでによく知っていると思いますが、実際に Sqoop を利用する際に遭遇した問題点や注意点などを記録・分析して、困っている生徒たちを助けたいと考えています。スクープへの理解が深まったので、著者は記事の形で記録と分析を続けていきます。友人が見に来ることを歓迎します。
Hive から PostgreSql へのデータ移行
最近、データ移行作業を行っています。データの移行元は Hive テーブル、データの移行先は PostgreSql テーブルです。最後に使用する sqoop コマンドは次のとおりです。
sqoop export \
--connect jdbc:postgresql://host:5432/db?currentSchema=db\
--username xxx --password xxx \
--table sqoop_test \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--hcatalog-database 'xxx' \
--hcatalog-table 'xxx' \
--hcatalog-partition-keys a,b \
--hcatalog-partition-values valuea,valueb \
--columns "a,b" \
-m 1
コマンドパラメータの意味は公式サイトで確認できますが、注意点は以下の2点です:
1. パーティションをフィルタリングするには –hcatalog-partition-keys と –hcatalog-partition-values を併用する必要があります。ハイブ テーブルのパーティション フィールド、--hcatalog-partition-keys は 1 つ以上またはすべてのパーティション フィールドを指定するために使用され、--hcatalog-partition-values はパラメーター --hcatalog- に対応するパーティション フィールド値を指定するために使用されます。パーティションキー。
2. パラメーター -columns で指定された列が、パラメーター -hcatalog-table で指定された Hive テーブルに存在することを確認します。
著者のレベルには限界があります。不備がある場合は、メッセージを残して修正してください。