Sqoopツールを使用して、MySQLデータベースからHDFSにレコードをインポートし、MySQLデータベースからHiveにレコードをインポートし、HDFSからMySQLデータベースにデータをエクスポートします。

1.MySQLデータベースからHDFSにレコードをインポートします

1.データベースsqoop01を作成するためのMysqlsデータベース

mysql> create database sqoop01;

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive               |
| mysql              |
| sqoop01            |
| test               |
+--------------------+
5 rows in set (0.00 sec)

2.テーブルを作成します

mysql> use sqoop01;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed

create table t_user(id int, name varchar(20), age int);
insert into t_user values(1, 'David', 21)
insert into t_user values(2, 'Tom', 20)
insert into t_user values(3, 'Amy', 19)

mysql> select * from t_user;
+------+-------+------+
| id   | name  | age  |
+------+-------+------+
|    1 | David |   21 |
|    2 | Tom   |   20 |
|    3 | Amy   |   19 |
+------+-------+------+
3 rows in set (0.02 sec)

3.次のコマンドを実行します

sqoop import --connect jdbc:mysql://hadoop/sqoop01 --username root --password root --table t_user --target-dir hdfs://hadoop:8020/sqoop1 -m 1

実行結果を図に示します。

HDFSを図に示します。

2.MySQLデータベースからHiveにレコードをインポートします

次のコマンドを実行します

sqoop import --connect jdbc:mysql://hadoop/sqoop01 --username root --password root --table t_user --target-dir hdfs://hadoop:8020/sqoop2 --hive-import --hive-overwrite --create-hive-table --hive-table t_user -m 1

実行結果を図に示します。

3.HDFSからMySQLデータベースにデータをエクスポートします

1.データベースの下のテーブルexport_userを事前に作成する必要があります

create table export_user(id int, name varchar(20), age int);

2.コマンドを実行します

sqoop export --connect "jdbc:mysql://hadoop/sqoop01" --username root --password root --table export_user -m 1 --export-dir /sqoop1

3.結果を図に示します。