hive在大数据套件中占很的地位，分享下个人经验。
1.在hive日常开发中，我们首先面对的就是hive的表和库，因此我要先了解库，表的命名规范和原则
如 dwd_whct_xmxx_m
第1部分为表数据仓库分层：可能取值为ods，dwd（dw明细层），dws（dw汇总层），ads（应用层）等。
第2部分为业务领域 可能为whct（文化传统），whcp文化产品等。
第3层为用户自定义标签 比如项目信息为xmxx，用户可以可以自己定义业务，项目和产品标签
第4层为时间标签：比如d为天，m为月，y为年，di为增量表，df为全量表。
ods：源头数据原封不动的抽取一遍，准备层。
dw：dwd(数据仓库明细层),dws（数据仓库汇总层）经过ods层数据经过etl清洗，转换，加载生成。
ads：应用层，各个业务方或部门基于dwd和dws建立的数据集市（DM），原则上asd层数据是基于dw层的，不能直接访问ods层，该层只包含部门或业务方自己关心的dwd和dws。
这是使用hive的第一步，没有好的命名规则，那最后会一片狼藉。
2.hsql运行原理
熟悉hive sql 在 hadoop 上 mapreduce的运行原理，不知道这些，很难优化sql，减少资源的浪费。如下：
1）select 数据
eg :select * from tb_tbale where cloumn1 = '2019' and cloumn2 = 'hive';
执行select 语句时，hive只有map阶段，无shuffle和reduce。
map：该阶段会根据split个数开启几个map，每个map task会接收到一个split文件，于是每个map函数会逐行对输入的文件进行检测筛选出cloumn1为2019，cloumn2为hive的数据，保存在本地。
map的个数可以这样理解。如果文件为256M,hadoop2（每个块128）的话，会开启2个map。289M就会三个，要注意的是这些map都是并行执行的，当数据量特别大
的时候开启的map会越多，理论上还会并行执行，所以我们一定要养好习惯select数据的时候一定要加上where条件，避免盲目查询。
2）gruop by
eg: select cloumn1，count（*） from tb_tbale where cloumn2 = ‘hive’ group by cloumn1
map：分完片的文件会产生相应数量的map，每个map会逐行检测cloumn2是否为hive，如果是hive它会生成键值对<cloumn1,1>。
combine: 该操作发生在对应的文件中，也就是讲map分了几个，也就有几个combine，他会把map端产生的键值对相同的key对进行累加如<cloumn1,3>。
shuffle：该操作比较复杂,分为partition,sort,spill,copy,merge.最重要的就是分区和合并过程。
map生成的task会通过对每个键取hash值，使map task按照相同的键均匀分配到reduce上，这个过程就是分区，分配到同一个reduce上的task会经过合并过程
生成这样的键值对<cloumn1,{3,1}>>做完reduce task输入。
reduce：调用函数将他没累加即可，3+1=4
3)join
eg: select t1.cloumn1,t2.cloumn2 from (select cloumn1,cloumn3 from tb_table1) t1 join (select cloumn2,cloumn3 from tb_table2) t2 on t1.cloumn3= t2.cloumn;
会开启三个mapreduce任务。第一个会执行select cloumn1，cloumn3的操作，第2个会执行selec cloumn2，cloum3的操作，主要是第三个，会把第一个和第2个
的结果进行关联合并，然后输出。
split：jion的时候会把第一个mapreduce和第2个MapReduce任务的输出文件输入该次任务。首先会对前两个任务进行分片。hadoop大于128mb分一个片。
map：hadoop 集群根据spilt出来分结果开启相应个数的map task
shuffle：jion时，主要是分区操作，jion的列进行数据的重分布和分发过程，分区的类为cloumn3，于是所有的map task都根据cloumn3进行发布。相同jion知道就会
发生到同一个reducer上。
reduce：shuffle发送的cloumn1，cloumn3 ； cloum2，cloum3.就会根据cloum3 发送到 reduce task上。这个时候根据cloum3将他们的值变成一行，保留到本地输
处文件中
3.hive函数：
了解hive函数对我们数据分析等十分重要，常用日期函数如下：
日期函数：Date_add,datediff,to_date,from_unixtime,unix_timestamp
字符串函数：substr,concat,concat_ws,split,regexp_replace,get_json_object,trim,length
聚合函数：abs,ceil,floor,round,rand,pow
数字函数：count,max,min,avg,count distinct,sum,group_concat
窗口函数：Row_number,lead,lag,rank
其他函数：Coalesce,cast,decode explode
4.hive 简单优化：
1）对于group by引起的倾斜，只要设置下面的参数
set hive.map.aggr =ture
set hive.groupby.skewindata=true
此时hive数据倾斜时会发生负载均衡，生成的查询计划会有两个MapReduce job。第一个MapReduce job中，map输出结果聚合会随机分配到reduce中，每个reduce做部分均和操作并输出结果，这样处理结果是相同的groupbykey有可能被分布到不同的reduce中，所以达到了负载均衡的目的，第2个MapReduce job再根据预处理的数据结果按照groupbykey分布到reduce中，最后完成聚合操作。
2）对于count distinct的优化
在hive开发过程中应该小心使用count distinct，因为很可能出现性能问题，比如
select count（distinct name）from dwd_some_table;
此时因为要去重，hive会把map阶段的输出全部分配到一个reduce task 上，此时很容易发生性能问题，这样我们可以这样先group by 再count,减少distinct的使用。
select count(1) from (select name from dwd_some_table group by user) tmp;
3）对于join的优化最为常用，也很广泛，我给它分为如下几种：
大表join小表：
现实世界的28法则会把百分之八十的数据集中在百分之二十的用户上，数据倾斜很难不会发生，这时候大表join小表的时候可以使用mapjoin的方法来优化，
格式为/*+mapjoin(b,c,d),join个表，mapjoin的优化在map端进行join，不是像通常那样在reduce端按照join列来进行分发后在每个reduce任务节点进行join，不分发也就没有了倾斜问题。相反hive会把小表全量复制到每个map任务节点，然后map任务节点执行lookup小表便可。这样小表不可以太大，不然全量复制得不偿失。
参数hive.auto.convert.join.noconditionaltask.size 来确定是否为小表，默认为25M，最大不可以调节大于1G.
5.创建一个分区表，以 ds 为分区列：
create table invites (id int, name string) partitioned by (ds string) row format delimited fields terminated by 't' stored as textfile;
将数据添加到时间为 2013-08-16 这个分区中：
load data local inpath '/home/hadoop/Desktop/data.txt' overwrite into table invites partition (ds='2013-08-16');
从一个分区中查询数据：
select * from invites where ds ='2018-11-14';
往一个分区表的某一个分区中添加数据：
insert overwrite table invites partition (ds='2018-11-14') select id,max(name) from test group by id;
可以查看分区的具体情况，使用命令：
hadoop fs -ls /home/hadoop.hive/warehouse/invites
或者：
show partitions tablename;
6. 创建带桶的 table ：
create table bucketed_user(id int,name string) clustered by (id) sorted by(name) into 4 buckets row format delimited fields terminated by '\t' stored as textfile;
首先，我们来看如何告诉Hive—个表应该被划分成桶。我们使用CLUSTERED BY 子句来指定划分桶所用的列和要划分的桶的个数
CREATE TABLE bucketed_user (id INT， name STRING)
CLUSTERED BY (id) INTO 4 BUCKETS;
桶中的数据可以根据一个或多个列另外进行排序。由于这样对每个桶的连接变成了高效的归并排序(merge-sort), 因此可以进一步提升map端连接的效率。以下语法声明一个表使其使用排序桶：
CREATE TABLE bucketed_users (id INT, name STRING)
CLUSTERED BY (id) SORTED BY (id ASC) INTO 4 BUCKETS;
7.hive动态分区
动态分区导入：
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table user_log_p_action partition(p_action)
select user_name
,action_type
,ip
,action_type as actiontype
from user_action_log
其中p_action是分区表的分区字段名称
,action_type as actiontype：必须要放在表正式字段的后面，按顺序这个位置往后是分区字段值，动态导入的过程就是根据分区字段值来分区的