sqoop导入的一些问题

sqoop导入的一些问题

以下为sqoop语句有问题,一定注意语句后的 \ 。 \前要空格,\后不要空格

在这里插入图片描述

--null-non-string 0 \
--null-string '123' \

原数据如果为null的话,会被替换‘成 ’的内容

版本1.4.7这种模式使用lastmodifyed 可以使用merge-key覆盖。(路径为hive表路径)

因为1.4.7不支持lastmodifyed和hive -import连用(1.4.6可以,但是不支持append和hive-import),所以我直接导入到hive表路径下

sqoop import --connect jdbc:mysql://hadoop-02:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--columns user_id,user_name,trade_time \
--incremental lastmodified \
--check-column trade_time \
--last-value 0 \
--fields-terminated-by '\t' \
--target-dir /user/hive/workmouse/ali_test.db/part3 \
--null-non-string 0 \
--null-string '123' \
--merge-key user_id \
--split-by user_id

这种模式merge-key等于无用

sqoop import --connect jdbc:mysql://hadoop-02:3306/test \
--driver com.mysql.jdbc.Driver \
--username root --password 123456 \
-m 1 \
--table user \
--columns user_id,user_name,trade_time \
--incremental append \
--check-column user_id \
--last-value 0 \
--fields-terminated-by '\t' \
--target-dir /user/hive/workmouse/ali_test.db/part3 \
--null-non-string 0 \
--null-string '123' \
--merge-key user_id \
--split-by user_id

3’
–merge-key user_id
–split-by user_id


发布了44 篇原创文章 · 获赞 7 · 访问量 2153

猜你喜欢

转载自blog.csdn.net/weixin_44273391/article/details/101111285