hive建表的标准格式及其建表属性详解1

版权声明:本文为博主原创文章,未经博主女朋友允许不得转载。 https://blog.csdn.net/qq_26442553/article/details/78805443

         Hive建表是学习使用hive的第一步,然后才能基于表对hive数据仓库进行操作。学习建表前,首先要知道hive表的构建属性 ,知道哪些属性是固定的,哪些属性是可以定制的等等。

一.标准hql建表语法格式

1.官方标准语法:(hql不区分大小写,下面[]里的属性是可选属性

  CREATE [EXTERNAL] TABLE [IF NOT EXISTS]     table_name      
  [(col_name   data_type   [COMMENT col_comment], ...)]        
  [COMMENT   table_comment]                                    
  [PARTITIONED BY(col_name data_type [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...)
  [SORTED BY(col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
  [ROW FORMAT row_format] 
  [STORED AS file_format]
  [LOCATION hdfs_path]  

二.标准建表语法各项参数说明

1.CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常,一般也可以不加这个IF NOT EXISTS语句,最多抛出错误。

2.EXTERNAL关键字可以让用户创建一个外部表,默认是内部表,外部表在建表的必须同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。

3.COMMENT 后面跟的字符串是给表字段或者表内容添加注释说明的,虽然它对于表之间的计算没有影响,但是为了后期的维护,所以实际开发都是必须要加COMMENT的。

4. PARTITIONED BY其实是给表做分区,决定了表是否是分区表。Hive中所谓分区表就是将表里新增加一个字段,就是分区的名字,这样你在操作表中的数据时,可以按分区字段进行过滤。具体分区解释后面博客有说明。

5.[ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ] 这里指定表存储中国列的划分格式,默认是\001,这里指定的是逗号分隔符,还可以指定其他列的分隔符,看实际需求

6.STORED AS   SEQUENCEFILE|TEXTFILE|RCFILE如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。这里主要牵涉到hive存储的三种文件格式,具体区别参考后续博客。

7.CLUSTERED BY对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中

8.LOCATION 其实是定义hive表的数据在hdfs上的存储路径,一般管理表(内部表不不要自定义),但是如果定义的是外部表,则需要直接指定一个路径。实际上不指定也没事,会使用默认路径

总结:实际建表可能会对文件的行列分隔符要求自定义,文件的存储方式有所要求 ,表的分区要求是自动分区,表的存储位置要放到指定路径下等等各种不确定需求,建立的表也是定制化的五花八门,但是核心都在这些基础的建表标准语法里进行变动,变动不同模块实现不同需求。

二.Hive基于上面标准建表语法的演示

1.建立一个列分隔符为‘,’的表,默认内部表

create table if not exists track(
id int comment'id',
ipname string  comment'ip名称',
zart  decimal(10,5) comment'测试小数')                          
partitioned by (date string,hour string)
row format delimited fields terminated by '\t';

2.使用desc可以,查看表结构,使用describe formatted 可以查看表的详细结构,使用show create talbe可以查看建表语句。

1.查看基础表结构
hive (fdm_sor)> desc track;
OK
col_name	data_type	comment
id                  	int                 	id                  
ipname              	string              	ip??                
zart                	decimal(10,5)       	????                
date                	string              	                    
hour                	string              	                    
	 	 
# Partition Information	 	 
# col_name            	data_type           	comment             
	 	 
date                	string              	                    
hour                	string              	                    
====================================================================================
2.查看详细的表结构信息
hive (fdm_sor)> describe formatted track;
OK
col_name	data_type	comment
# col_name            	data_type           	comment             
	 	 
id                  	int                 	id                  
ipname              	string              	ip??                
zart                	decimal(10,5)       	????                
	 	 
# Partition Information	 	 
# col_name            	data_type           	comment             
	 	 
date                	string              	                    
hour                	string              	                    
	 	 
# Detailed Table Information	 	 
Database:           	fdm_sor             	 
Owner:              	robot               	 
CreateTime:         	Mon Dec 31 00:23:26 CST 2018	 
LastAccessTime:     	UNKNOWN             	 
Protect Mode:       	None                	 
Retention:          	0                   	 
Location:           	hdfs://hadoop102:9000/user/hive/warehouse/fdm_sor.db/track	 
Table Type:         	MANAGED_TABLE       	 
Table Parameters:	 	 
	transient_lastDdlTime	1546187006          
	 	 
# Storage Information	 	 
SerDe Library:      	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe	 
InputFormat:        	org.apache.hadoop.mapred.TextInputFormat	 
OutputFormat:       	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat	 
Compressed:         	No                  	 
Num Buckets:        	-1                  	 
Bucket Columns:     	[]                  	 
Sort Columns:       	[]                  	 
Storage Desc Params:	 	 
	field.delim         	\t                  
	serialization.format	\t                  
====================================================================================
3.查看建表语句,实际很常用的命令
hive (fdm_sor)> show create table track;
OK
createtab_stmt
CREATE  TABLE `track`(
  `id` int COMMENT 'id', 
  `ipname` string COMMENT 'ip??', 
  `zart` decimal(10,5) COMMENT '????')
PARTITIONED BY ( 
  `date` string, 
  `hour` string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '\t' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://hadoop102:9000/user/hive/warehouse/fdm_sor.db/track'
TBLPROPERTIES (
  'transient_lastDdlTime'='1546187006')
Time taken: 0.033 seconds, Fetched: 17 row(s)
hive (fdm_sor)> 

3.关于建立分区表,实际开发中对于表的各种定制,如分区,存储格式,路径,内部表,外部表,以及实际开发中表的使用方式与注意事项,请参考后面博客

猜你喜欢

转载自blog.csdn.net/qq_26442553/article/details/78805443
今日推荐