【大数据】Hive系列之- Hive-DDL 数据定义

库操作

创建数据库

CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment]
[LOCATION hdfs_path]
[WITH DBPROPERTIES (
	property_name=property_value, 
	...
	)
];
  1. 创建一个数据库,数据库在 HDFS 上的默认存储路径是/hive/warehouse/*.db
 create database hive_nb; 
  1. 避免要创建的数据库已经存在错误,增加 if not exists 判断。(标准写法)
 create database if not exists hive_nb;
  1. 创建一个数据库,指定数据库在 HDFS 上存放的位置
 create database hive_nb location '/hive_nb.db'; 

查询数据库

显示数据库

show databases; 

过滤显示的数据库

show databases like 'hive_nb*'; 

查看数据库详情

显示数据库信息

desc database hive_nb;

显示数据库详细信息,extended

desc database extended hive_nb; 

切换当前数据库

use hive_nb;

修改数据库

用户可以使用 ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键-值对属性值, 来描述这个数据库的属性信息。

alter database hive_nb
set dbproperties('createtime'='20230313');

删除数据库

删除空数据库

drop database hive_nb; 

如果删除的数据库不存在,最好采用 if exists 判断数据库是否存在

drop database if exists hive_nb;

删除非空数据库

如果数据库不为空,可以采用 cascade 命令,强制删除

drop database hive_nb cascade;

表操作

建表语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format]
[STORED AS file_format] [LOCATION hdfs_path]
[TBLPROPERTIES (property_name=property_value, ...)] [AS select_statement]

字段解释说明

  • CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常; 用户可以用 IF NOT EXISTS 选项来忽略这个异常

  • EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时可以指定一个指向实 际数据的路径(LOCATION),在删除表的时候,内部表的元数据和数据会被一起删除,而外 部表只删除元数据,不删除数据。

  • COMMENT:为表和列添加注释。

  • PARTITIONED BY 创建分区表

  • CLUSTERED BY 创建分桶表

  • SORTED BY 不常用,对桶中的一个或多个列另外排序

  • ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char] [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
    | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, …)]

用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW
FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需 要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive 通过 SerDe 确定表 的具体的列的数据。

SerDe 是 Serialize/Deserilize 的简称, hive 使用 Serde 进行行对象的序列与反序列化。

  • STORED AS 指定存储文件类型 常用的存储文件类型:SEQUENCEFILE(二进制序列文件)、TEXTFILE(文本)、RCFILE(列
    式存储格式文件)

如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。

  • LOCATION :指定表在 HDFS 上的存储位置。

  • AS:后跟查询语句,根据查询结果创建表。

  • LIKE 允许用户复制现有的表结构,但是不复制数据。

表类型

Hive 管理的表分为 内部表外部表

默认创建的表都是所谓的管理表,有时也被称为内部表。因为这种表,Hive 会(或多或少地)控制着数据的生命周期。 Hive 默认情况下会将这些表的数据存储在由配置项hive.metastore.warehouse.dir(例如,/hive/warehouse)所定义的目录的子目录下。 当我们删除一个管理表时,Hive 也会删除这个表中数据。管理表不适合和其他工具共享数据。

对于外部表,Hive 并非认为其完全拥有这份数据。删除该表并不会删除掉真实存储的数据,不过描述表的元数据信息会被删除掉。

外部表创建时,需要添加 external

create external table if not exists computer( no int,
name string, price double
)
row format delimited fields terminated by '\t';

管理表与外部表的互相转换

查询表的类型

desc formatted phone; 

修改内部表 phone 为外部表

alter table phone set tblproperties('EXTERNAL'='TRUE');

修改外部表 computer 为内部表

alter table computer set tblproperties('EXTERNAL'='FALSE');

修改表

重命名表

语法

ALTER TABLE table_name RENAME TO new_table_name

案例

alter table car rename to big_car;

增加/修改/替换列信息

语法

更新列

ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]

增加和替换列

ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

注:ADD 是代表新增一字段,字段位置在所有列后面(partition 列前),
REPLACE 则是表示替换表中所有字段

案例

查询表结构

desc car;

添加列

alter table car add columns(desc string); 

更新列

alter table car change column desc desc_detail string;

替换列

alter table car replace columns(no string, name string, price string);

删除表

drop table car;

希望对正在查看文章的您有所帮助,记得关注、评论、收藏,谢谢您

猜你喜欢

转载自blog.csdn.net/u013412066/article/details/129485054