-
sqoop1.4.7 tar地址: https://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
-
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0
-
mv sqoop-env-template.sh sqoop-env.sh
-
vim conf/sqoop-env.sh
添加:
export HADOOP_COMMON_HOME=/home/bigdata/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/home/bigdata/module/hadoop-2.7.2
-
vim /etc/profile
配置环境变量 -
source /etc/profile
-
bin/sqoop import
–connect jdbc:mysql://ip:3306/table_name
–username username
–password password
–table company
–target-dir /sqoop/test
–delete-target-dir
–fields-terminated-by “\t”
–split-by id
–num-mappers 20
–verbose
–boundary-query “select 1 as MIN , sum(1) as MAX from company”
| 选项 | 说明 |
|---|---|
| –connect | 数据库的 JDBC URL，后面的 databasename 想要连接的数据库名称 |
| –table | 数据库表 |
| –username | 数据库用户名 |
| –password | 数据库密码 |
| –target-dir | HDFS 目标目录，不指定，默认和数据库表名一样 |
| –fields-terminated-by | 数据导入后每个字段之间的分隔符，不指定，默认为逗号 |
| -m | mapper 的并发数量 |
| –columns | 指定导入时的参考列，这里是PRODUCT_ID,PRODUCT_NAME,LIST_PRICE,QUANTITY,CREATE_TIME |
| –last-value | 上一次导入的最后一个值 |
| –incremental append | 导入方式为增量 |
| –where | 按条件筛选数据，where条件的内容必须在单引号内 |