Sqoop export 数据导出覆盖与更新

sqoop-export xxxxxx --table xxxxxxxxx --columns xxx,xxxx --fields-terminated-by ',' --input-null-string '' --input-null-non-string '' --export-dir "/hdfs/xxxxxx/dt=$dt" --update-key id --update-mode allowinsert

上面是一个Sqoop导出的例子

Sqoop export工具被用来将文件集合从HDFS中导入关系型数据库中。目标表必须事先已经在数据库中创建好。

输入文件根据用户指定分隔符被读取解析成记录集。

其中主要有两个模式:

  • INSERT模式

    • Sqoop默认的将每条记录以转换成INSERT语句添加到数据库表中,如果你的表达式存在一些约束如关键字唯一等(使用插入模式,如果一条记录插入失败,则JOB失败);

  • UPDATE模式

    • 如果指定--update-key参数,Sqoop将会修改一个数据库中存在的数据集,每一条记录都会当作UPDATE语句来修改存在的记录。记录的修改语句根据—update-key指定的列(索引)决定。如果一个更新语句在数据库中没有对应的记录,则不会报错,导出操作会继续进行。只更新原始记录。

参数说明:

Argument

扫描二维码关注公众号,回复: 10585053 查看本文章

Description

--direct

Use direct export fast path

--ex

猜你喜欢

转载自blog.csdn.net/u012965373/article/details/105115935
今日推荐