Hive 表分区

基本知识：

Hadoop：文件相关操作比如：

hadoop fs -rmr 'hdfs://hdfs://192.168.8.101:8020/user/hive/warehouse';

hadoop fs -put '/user/hive/warehouse/data.txt' 'hdfs://hdfs://192.168.8.101:8020/user/hive/warehouse/data.txt'

创建分区表：

外部表：

create external table if not exists employee(
id int,
name string,
dept string,
yoj int
)
partitioned by (
year string
)
row format delimited fields terminated by '\t'

内部表：

create table if not exists employee(
id int,
name string,
dept string,
yoj int
)
partitioned by (
year string
)
row format delimited fields terminated by '\t'

增加分区并加载数据

1、对于外部表

<1 alter table employee add partition (year=‘2013’) location ‘hdfs://192.168.8.101:8020/user/hive/warehouse/hivedata/data’; 执行添加分区时 hivedata/ 文件夹下的数据不会被移动。并且没有分区目录year=2013

alter table employee drop partition (year=‘2013’); 执行删除分区目录时hivedata/ 下的数据不会被删除

<2 load data inpath 'hdfs://192.168.8.101:8020/user/hive/warehouse/hivedata/data' overwrite into table employee partition(year='2013');

执行加载数据添加分区时 hivedata/ 文件夹下的数据会被移动，并创建分区目录logdate=2015-02-26，数据移动到此目录下

alter table employee drop partition (year='2013'); 执行删除分区目录时，已经创建year=2013

分区目录不会被删除，其文件夹下的数据也不会被删除；

2、内部表

alter table employee add partition (year=‘2013’) location ‘hdfs://192.168.8.101:8020/user/hive/warehouse/hivedata/data’; 执行添加分区时 hivedata/ 文件夹下的数据不会被移动。并且没有分区目录year=2013

alter table employee drop partition (year=‘2013’); 执行删除分区时hivedata/ 下的数据会被删除并且连同hivedata/文件夹也会被删除

load data inpath 'hdfs://192.168.8.101:8020/user/hive/warehouse/hivedata/data' overwrite into table empl_inn partition(year=2013);
执行加载数据添加分区时 hivedata/ 文件夹下的数据会被移动，并创建分区目录year=2013，数据移动到此目录下

alter table employee drop partition (year=‘2013’); 执行删除分区目录时，已经创建year=2013 分区目录会被删除，其文件夹下的数据随之会被删除；

猜你喜欢