Sqoop—— 1.原理及架构

sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个:导入、迁入。导入数据:MySQL,Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统。导出数据:从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具,和 HDFS,Hive 相比,并没有什么高深的理论。sqoop本质就是迁移数据, 迁移的方式:就是把sqoop的迁移命令转换成MR程序
。hive本质就是执行计算,依赖于HDFS存储数据,把SQL转换成MR程序。
在这里插入图片描述
将导入或导出命令翻译成 MapReduce 程序来实现 在翻译出的 MapReduce 中主要是对 InputFormat 和 OutputFormat 进行定制。

————Blueicex 2020/3/17 11:45 [email protected]

发布了188 篇原创文章 · 获赞 1 · 访问量 6791

猜你喜欢

转载自blog.csdn.net/blueicex2017/article/details/104918345
今日推荐