Sqoop的数据导入

“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据(或者Avro、sequence文件等二进制数据)

语法

下面的语法用于将数据导入HDFS。

$ sqoop import (generic-args) (import-args)
示例

表数据

在mysql中有一个库sqoop_data中三个表:emp, emp_add和emp_contact

表emp:


1448002-eddba86078407c17.png
1.png

表emp_add:


1448002-6d554ddbfd6345e1.png
2.png

表emp_conn:
1448002-10a68ca4ac080c52.png
3.png

创建表

create table emp(

id int,

name varchar(20),

deg varchar(20),

salary  int,

dept varchar(20));

插入数据

insert into emp values(1201,'gopal','manager','50000','TP');

insert into emp values(1202,'manisha','Proof reader','50000','TP');

insert into emp values(1203,'khalil','php dev','30000','AC');

insert into emp values(1204,'prasanth','php dev','30000','AC');

insert into emp values(1205,'kranthui','admin','20000','TP');

insert into emp values(1206,'satish p','grp des','20000','GR');

创建表

create table emp_add(

id int,

hno varchar(20),

street varchar(20),

city varchar(20));

插入数据

insert into emp_add values(1201,'288A','vgiri','jublee');

insert into emp_add values(1202,'1801','aoc','sec-bad');

insert into emp_add values(1203,'144Z','pguttai','hyd');

insert into emp_add values(1204,'78B','old city','sec-bad');

insert into emp_add values(1205,'720X','hitec','sec-bad');

创建表

create table emp_conn(

id int,

phno int,

email varchar(20));

插入数据

insert into emp_conn values(1201,'2356742','[email protected]');

insert into emp_conn values(1202,'1661663','[email protected]');

insert into emp_conn values(1203,'8887776','[email protected]');

insert into emp_conn values(1204,'9988774','[email protected]');

insert into emp_conn values(1205,'1231231','[email protected]');

导入表表数据到HDFS

下面的命令用于从MySQL数据库服务器中的emp表导入HDFS。

$bin/sqoop import --connect jdbc:mysql://hq666:3306/sqoop_data --username hive --password hive --table emp --m 1

如果成功执行,那么会得到下面的输出。

为了验证在HDFS导入的数据,请使用以下命令查看导入的数据

hadoop fs -cat /user/centos/emp/part-m-00000

emp表的数据和字段之间用逗号(,)表示。

1201, gopal,    manager, 50000, TP

1202, manisha,  preader, 50000, TP

1203, kalil,    php dev, 30000, AC

1204, prasanth, php dev, 30000, AC

1205, kranthi,  admin,   20000, TP

导入关系表到HIVE

bin/sqoop import --connect jdbc:mysql://hq666:3306/sqoop_data --username hive --password hive --table emp --hive -import --m 1

导入到HDFS指定目录

在导入表数据到HDFS使用Sqoop导入工具,我们可以指定目标目录。

以下是指定目标目录选项的Sqoop导入命令的语法。

--target-dir <new or exist directory in HDFS>

下面的命令是用来导入emp_add表数据到'/queryresult'目录。

bin/sqoop import --connect jdbc:mysql://hq666:3306/sqoop_data --username hive --password hive --target-dir /queryresult --table emp_add --m 1

下面的命令是用来验证 /queryresult 目录中 emp_add表导入的数据形式。

$HADOOP_HOME/bin/hadoop fs -cat /queryresult/part-m-*

它会用逗号(,)分隔emp_add表的数据和字段。

1201, 288A, vgiri,   jublee

1202, 108I, aoc,     sec-bad

1203, 144Z, pgutta,  hyd

1204, 78B,  oldcity, sec-bad

1205, 720C, hitech,  sec-bad

导入表数据子集

我们可以导入表的使用Sqoop导入工具,"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询,并将结果存储在HDFS的目标目录。

where子句的语法如下。

--where <condition>

下面的命令用来导入emp_add表数据的子集。子集查询检索员工ID和地址,居住城市为:Secunderabad

bin/sqoop import --connect jdbc:mysql://hq666:3306/sqoop_data --username hive --password hive --where "city ='sec-bad'" --target-dir /wherequery --table emp_add --m 1

下面的命令用来验证数据从emp_add表导入/wherequery目录

$HADOOP_HOME/bin/hadoop fs -cat /wherequery/part-m-*

它用逗号(,)分隔 emp_add表数据和字段。

1202, 108I, aoc, sec-bad

1204, 78B, oldcity, sec-bad

1205, 720C, hitech, sec-bad

猜你喜欢

转载自blog.csdn.net/weixin_34150830/article/details/87137441