Sqoop的安装与Mysql的数据导入到hdfs框架中

Sqoop简介

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

Sqoop下载

最新的官方版本为1.4.7下载地址如下

http://mirror.bit.edu.cn/apache/sqoop/1.4.7/

解压

 tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

 mv  sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz sqoop

配置环境变量

export SQOOP_HOME=/home/ubuntu/sqoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin
 

cd  sqoop/conf

cp sqoop-env-template.sh sqoop-env.sh

测试数据库连接

sqoop list-databases --connect jdbcUrl --username test --password 'test'

导入数据到hdfs中

sqoop import jdbcUrl --username 用户名  --password '密码' --table 表名 --columns "user_name,phone" --target-dir /test -m 1