hadoop组件概念理解

一、HADOOP

二、HIVE

三、SQOOP

  1.来由和作用

    sqoop由一些封装好的MR程序的jar包构成,后演变成框架,但sqoop只有map任务没有reduce任务。

    用于 hdfs、hive、hbase 和关系型数据库RDBMS之间数据的导入导出。

  2.导入到hdfs过程

    2.1 gather metadata 收集元数据

    2.2 submit map only job    仅提交map任务

  3.导入到hive过程

    先导入到hdfs上,再load至hive中,会产生临时中间文件,导入hive成功后会删除

  4.导入导出

    1.将数据导入到表的时候,表在目标位置需已存在

猜你喜欢

转载自www.cnblogs.com/OnTheWay-0518/p/9726682.html