分区表
分区表实际就是对应hdfs文件系统上的的独立的文件夹，该文件是夹下是该分区所有数据文件。
分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下。
分类的标准就是分区字段，可以一个，也可以多个。
分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。
在查询是通过where子句查询来指定所需的分区。
样例
create external table if not exists emp_partition(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
partitioned by (month string)
row format delimited fields terminated by '\t'
操作步骤
创建分区表
create external table if not exists emp_partition(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int
)
partitioned by (month string)
row format delimited fields terminated by '\t'
还可以添加二级分区
partitioned by (month string,day string):相当于创建2个文件夹，在month下创建了day文件夹
day文件下就是具体的文件。
加载数据到指定分区
load data local inpath '/opt/datas/emp.txt' into table default.emp_partition partition (month='201803');
load data local inpath '/opt/datas/emp.txt' into table **default.emp_partition partition (month='201804');
分区其实就是文件夹名称。分区表就是文件夹。分区相当于对文件坐了分类，根据分类拆分不同的文件。
分区中的数据查询
查询201803分区数据
命令：select * from emp_partition where month='201803' ;
查询201803分区数据
命令：select * from emp_partition where month='201804' ;
201803分区与201804分区组合统计总人数
编写sql文件
sql内容
select count(ename) from emp_partition where month='201803' union all select count(ename) from emp_partition where month='201804'
执行sql文件
bin/hive -f /opt/datas/emp_partition.sql
分区陷阱
创建分区表
create table dept_partition(
deptno int,
dname string,
loc string
)
partitioned by (day string)
row format delimited fields terminated by '\t';
在分区表下创建分区文件夹。
创建分区目录：
dfs -mkdir /user/hive/warehouse/dept_partition/day=20180306
把数据文件上传到分区文件夹下
通过 dfs -put /本地文件 /hdfs目录 ，完成文件上传。
dfs -put /opt/datas/dept.txt /user/hive/warehouse/dept_partition/day=20180306;
查询数据没有结果
select * from dept_partition ;
原因 mysql下的matehouse下的分区表中没有分区数据
解决方法1
msck repair table dept
说明：users can run a metastore check command with the repair table option
msck的意思就是matestore check的意思
解决方法2
alter table dept_partition add partition(day='20180306');
测试结果
select * from dept_partition;
为什么会出现这样的问题。
因为通过HDFS put/cp命令往表目录下拷贝分区目录数据文件时并没有在metastore中创建分区数据。所以即使你把数据copy、put到文件夹下也不会查询到。
转自：https://blog.csdn.net/qq_16095837/article/details/79465018