Sqoop 介绍 安装 应用

Sqoop 介绍 安装 应用

总体介绍

Sqoop简单介绍

1.1 概述

作用：导入导出数据
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
导出数据：从Hadoop的文件系统中导出数据到关系数据库

1.2 工作机制

本质利用mapreduce来实现数据导入导出
将导入或导出命令翻译成mapreduce程序来实现
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

2.sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境

2.1、下载并解压

在https://mirrors.cnnic.cn/apache/下载

cd ~/apps
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6

2、修改配置文件

cd ~/apps/sqoop-1.4.6/conf
mv sqoop-env-template.sh sqoop-env.sh
打开sqoop-env.sh并编辑下面几行：
export HADOOP_COMMON_HOME=/root/apps/hadoop-2.6.4/ 
export HADOOP_MAPRED_HOME=/root/apps/hadoop-2.6.4/
export HIVE_HOME=/root/apps/apache-hive-1.2.1-bin

3、加入mysql的jdbc驱动包

cp  /root/apps/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.34_1.jar   /root/apps/sqoop-1.4.6/lib/

3.sqoop 实战 数据导入导出

在另外一篇博客中详细讲解

• 导入到hdfs
• 导入到hive表
• 导出