由于我们的Hadoop、Hive等集群都是通过CDH安装部署的,而且CDH本身支持sqoop安装,因此直接就在这里安装测试了。
CDH版本:5.14.x
安装过程如下:
点击首页的“Cluster 1”
进入Cluster 1界面后,点击Clusters->Add Service
在Service列表中找到sqoop:
这里我们可以看到有Sqoop 1 Client和Sqoop2,并且Sqoop2的描述中红色字体有如下描述:Cloudera支持的版本为Sqoop1.在以后的CDH版本中将丢弃Sqoop 2.
虽然如此,但是目前依然是可以安装的,由于我们就是要测试Sqoop2,所以还是选择Sqoop2.选中后点击“continue”:
选择要安装的节点机器,继续点击“continue”,之后都使用默认配置,一路“continue”即可。
安装完成后可以看到Sqoop集群:
查看HTTP端口12000是否监听,监听成功表示Sqoop2 Server已经成功启动:
在任意一台机器下载sqoop-1.99.7-bin-hadoop200.tar.gz,下载地址:http://mirrors.shu.edu.cn/apache/sqoop/1.99.7/
下载后解压:
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz |
为了方便使用,将解压后的目录重命名一下:
mv sqoop-1.99.7-bin-hadoop200 sqoop2 |
进入目录然后执行sqoop2-shell命令:
cd sqoop2/bin/ |
使用sqoop2-shell连接Sqoop server:
# ./sqoop2-shell Setting conf dir: /Users/chenyanli/sqoop/sqoop2/bin/../conf Sqoop home directory: /Users/chenyanli/sqoop/sqoop2 Sqoop Shell: Type 'help' or '\h' for help. sqoop:000> |
在这里就可以使用命令行进行操作了。
具体命令参考官方文档:http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html