Sqoop:MySQL2Sqoop修改源表结构对同步数据的影响

背景信息:

本文用Sqoop实现MySQL中数据向Hive数据的抽取,研究在修改MySQL中数据以及表结构对抽取结果的影响

环境:

cloudera VM(包含Hadoop生态各组件),并在此VM中安装MySQL

初始状态:

Mysql中表数据如下所示:


利用SQOOP从MySQL向Hive同步数据:

源表mysql:wht.people

目的表:Hive: db01.people

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1 

在HUE中查询Hive中数据:


场景一

修改MySQL中数据,重新同步,检查Hive中数据是否会被更新

结论:Hive中的数据会被更新

推测:数据文件被删除后重新进行了抽取


sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1



场景二

增加/删除MySQL中数据,重新同步,检查Hive中数据是否会被增加

结论:Hive中的数据会增加/删除

推测:应该是被删除后重新进行了抽取

sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1


场景三

修改MySQL中表结构,增加一列,检查Hive中表结构是否会被同步修改

现象:源表中的新增列没有被同步过来

推测:应该只有数据文件被重建,但是元数据不会被修改



sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1



场景四

修改MySQL中表结构,删除一列,检查Hive中表结构是否会被同步修改

现象:源表中的删除列在Hive显示值为NULL

推测:应该只有数据文件被重建,但是元数据不会被修改



sqoop import --connect jdbc:mysql://localhost:3306/wht --username root --password root --table people --fields-terminated-by ','  --hive-import --hive-table db01.people --hive-overwrite -m 1



猜你喜欢

转载自blog.csdn.net/wiborgite/article/details/80462867