全量表、增量表、拉链表如何生成？

增量表

增量抽取

使用sqoop将业务系统数据库的表数据导入到hdfs中，因为要导入的是增量数据，所以需要
指定更新字段，这个字段有变化就是增量数据
再就是
指定上一次更新的时间
增量导入模板：

bin/sqoop import \
--connect jdbc:mysql://doitedu01:3306/realtimedw?characterEncoding=utf8\&useUnicode=true \
--username root \
--password ABC123abc.123   \
--table  stu \
--target-dir '/sqoopdata/incr/stu/2020-09-05'  \
--incremental lastmodified \
--check-column update_time \
--last-value '2020-09-05 00:00:00'  \
--fields-terminated-by '\001' \
--as-textfile   \
-m 1

注意： 使用sqoop生成的数据时存放在hdfs中的指定目录下，所以还需要load到hive表中，才能查询使用。在load之前我们应该先建表分区，再导入！

全量表

假如现在有2号的全量表，要生成3号的全量表，那么就需要2号的增量数据，将2号的全量表和3号的增量表合并起来，就能的到3号的全量表数据。

生成全量表数据有两步：
1、生成表的jar包，其实就相当于schema信息
指定表名，指定表jar包存放的位置，指定jar包名

bin/sqoop codegen \
--connect jdbc:mysql://doitedu01:3306/realtimedw \
--username root \
--password ABC123abc.123   \
--table stu \
--bindir /opt/apps/code/stu \
--class-name Stu \
--as-parquetfile

2、再使用merger命令将增量数据和先前的全量数据合并
指定先前全量表的位置（hdfs路径）–onto
指定增量表的位置（hdfs路径） --newdata
指定新的全量表的位置
指定表jar包位置
指定jar名
指定合并的行

bin/sqoop merge \
--new-data /user/hive/warehouse/test.db/stu_newdata/dt=2020-09-03 \
--onto /user/hive/warehouse/test.db/stu/dt=2020-09-02 \
--target-dir /user/hive/warehouse/test.db/stu/dt=2020-09-03 \
--jar-file /opt/apps/code/stu/Stu.jar \
--class-name Stu \
--merge-key id

拉链表

增量表的数据可以单独生成一部分数据

拉链表的数据left join 增量表，然后有哪些要修改的呢？
能join上的，而且拉链表中数据的end_dt是‘9999-12-31’，这种数据就应该
把end_dt改为拉链表的分区时间。其他情况都用拉链表数据的原数据。