3.3sqoop保存最后导入的数据

Apache Sqoop Cookbook 英文版-翻译学习!!
更多信息https://blue-shadow.top/

3.3保存最后导入的数据

问题

增量导入是一个很好的功能, 可以多多使用。但是记住最后一次导入的值是很困难的。

解决方案

可以利用Sqoop的内部的元数据进行存储最近使用的参数,可以通过创建一个简单的增量导入作业来使用这个功能：

sqoop job \
    --create visits \
    --import \
    --connect jdbc:mysql://mysql.example.com/sqoop \
    --username sqoop \
    --password sqoop \
    --table visits \
    --incremental append \
    --check-column id \
    --last-value 0

运行这个作业的命令 --exec 参数 , 即这样： sqoop job --exec visits

讨论

Sqoop元数据是Sqoop强大的一部分，其可以允许你保存作业的定义，并且轻松的调用。每个被保存的作业都有一个可以被引用的的逻辑名称。
可以使用参数 --list 获取所有作业的列表。

sqoop job --list

通过参数 --delete 删除不在需要的老的作业定义,如以下示例：

sqoop job --delete visitis 

最后，通过参数 --show parameter 来查看已经保存的的作业内容,参数 sqoop job --show visits 用于将作业以参数的形式展现。
不幸的是, Sqoop当前无法重建用于创建已保存作业的命令行，内置 Sqoop metastore 最重要的好处是结合增量导入。Sqoop 将自动将上次导入的值序列化为
metastore 在每个成功的增量工作之后。这样用户就不需要记住每次执行后的最后一个导入值一切都处理自动处理。

转载于:https://www.jianshu.com/p/334d364b462d