hive数据的导入导出方式

导入方式

1、load方式

load data local inpath 'local_path' into table tb_name;
从本地复制了文件到表的路径下
应用场景:大部分的使用,文件几乎都是默认现在本地的

2、load方式,HDFS
load data inpath 'hdfs_path' into table tb_name;
将文件移动到了表的路径下
应用场景:更适合大数据量的存储

3、load方式,overwrite

load data inpath 'hdfs_path' overwrite into table tb_name;
应用场景:适合一些重复写入的表(临时表),作为一个过渡使用

4、子查询方式,as

create table tb_name as select sql;
应用场景:对于数据查询结果的保存

5、insert方式
传统关系型数据库中,insert是插入一个值
在hive中insert into table后面还是跟一个语句(select语句)
insert into table select sql;
举例:
create table emp_insert like emp;

insert into table emp_insert select * from emp;

6、location
指定一个文件夹,然后将数据导入进去

导出方式

1、insert方式
格式:insert overwrite [local] directory 'path' select sql;
数据导出到本地
insert overwrite local directory '/opt/datas/emp_in01' select * from emp;
-》输出的目标可以提前存在,底层实现的时候,先删除再重新创建
-》指定分隔符
insert overwrite local directory '/opt/datas/emp_in01' row format delimited fields terminated by '\t' select * from emp;
-》HDFS
insert overwrite directory '/emp_insert' select * from emp;
-》注意:上一级的父目录必须存在

2、HDFS SHELL命令 -get
bin/hdfs dfs -get hdfs_path local_path

3、在Linux的命令行使用hive的-e -f参数,将输出重定向保存到本地文件

bin/hive -e "select * from student" > /opt/datas/

4、sqoop方式

如:

bin/sqoop export \
--connect \
jdbc:mysql://hostname:3306/sqoop \
--username root \
--password 123456 \
--table tomysql \
--export-dir /sqoop \
--num-mappers 1 \      --->设置分片个数
--input-fields-terminated-by '\t'   --->设置分隔符

5、hive支持export和import
-》export
export table tb_name to 'hdfs_path'
-》import
import table tb_name from 'hdfs_path'

猜你喜欢

转载自www.cnblogs.com/wakerwang/p/9377887.html