sqoopのインストール手順

sqoopのインストール手順:
CDは/ usr / local /
ファイル上記のRZ
タールxzvf sqoop146n.tar.gz抽出
設定環境変数のvi / etc / profileを
環境変数source / etc / profileをを構築
ドキュメントを使用するのが最も簡単
1)MySQLデータベースのリストを表示
データベース内のすべてのテーブルを表示します:
テストケース:
テストテーブルの設立:
テストデータを挿入します。
試験値(1、「北京」)に挿入します。
試験値(2「南京」)に挿入します。
試験値(3、「東京」)に挿入。
テスト値に挿入(4「西京」)。
試験値(5「Xinjiekou」)に挿入します。
試験値(6「五道口」)に挿入します。
試験値(7「Caishikou」)に挿入します。
試験値(8「梅市口」)に挿入します。
insert into test values (9,'珠市口');
insert into test values (10,'磁器口');
 
 
此表为空表,仅做导回测试用
 
(1)mysql导入到hdfs
把mysql中表test导入到hdfs,导入之前查询一下test表中的数据
 
sqoop import --connect jdbc:mysql://hadoop:3306/test --username root --password root --table test -m 1
-m 表示Map并发数
若是不写--target-dir 则默认是hdfs上的/user/username/tablename 路径
 
(2)HDFS导入到mysql
 
把HDFS中数据导入到Mysql表中,mysql中需要预先建立空表test2,此时该表为空
输入:
如果中文乱码
 
 
(3) MYSQL-HIVE
可用(MYSQL->HIVE)
 
 
 
 
RDBMS-HDFS<>HIVE
 
多表导入 尽量不要用
sqoop import-all-tables --connect jdbc:mysql://hadoop:3306/test --username root --password root --as-textfile --warehouse-dir /output/
sqoop import-all-tables --connect jdbc:mysql://hadoop:3306/test --username root --password root --hive-import --as-textfile --create-hive-table -hive-table testsum -m 1
 
sqoop import \
--connect jdbc:mysql://hadoop1:3306/mysql \
--username root \
--password root \
--table x \
--fields-terminated-by "\t" \
--lines-terminated-by "\n" \
--hive-import \
--hive-overwrite \
--create-hive-table \
--delete-target-dir \
--hive-database mydb_test \
--hive-table uplooking1
 
 
sqoop import \
--connect jdbc:mysql://hadoop1:3306/mysql \
--username root \
--password root \
--table x \
--fields-terminated-by "\t" \
--lines-terminated-by "\n" \
--hive-import \
--hive-overwrite \
--create-hive-table \
--hive-table mydb_test.uplooking1 \
--delete-target-dir
 
 
SQOOP-HBASE
 
sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://192.168.16.100:3306/uplooking --username root --password root --table test --columns id,name --hbase-create-table --hbase-table test_mydb --column-family info --hbase-row-key ID --where "ID >= 10" -m 1
 
sqoop import \
--connect jdbc:mysql://hadoop1:3306/mysql \
--username root \
--password root \
--table x \
--hbase-table uplooking1 \
--column-family person \
--hbase-row-key x_id
 
(HIVE/HDFS->MYSQL) 万金油语句
 
sqoop-export \
--connect jdbc:mysql://hadoop:3306/test \ 连接名
--username root \ 用户
--password root \ 密码
--table b \ 导入的表
--export-dir /usr/hive/warehouse/a \ 导出文件目录
--columns id,name \ 导出字段 自主选择 如果不加则默认为全表导出
--update-mode allowinsert \ 从这开始以下均不需要考虑
--update-key category_id \
--fields-terminated-by '\001' \
--lines-terminated-by '\n' \
--input-null-string '\\N' \
--input-null-non-string '\\N'

おすすめ

転載: www.cnblogs.com/dasiji/p/11246040.html