在大数据中，很多情况下是将hive的元数据存放在mysql数据库中，通过hive配置的连接字符串：
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive3?createDatabaseIfNotExist=true</value>
</property>
能确认连接的mysql的哪个库。
现在分析下常用元数据中表有什么关联关系
1、hive版本的元数据表(version)
字段 |
含义 |
值 |
VER_ID |
id主键 |
1 |
SCHEMA_VERSION |
hive 版本 |
1.1.0 |
VERSION_COMMENT |
版本说明 |
Set by MetaStore [email protected] |
如果该表出现问题，根本进入不了Hive-Cli。
比如该表不存在，当启动Hive-Cli时候，就会报错”Table ‘hive.version’ doesn’t exist”。
2、hive数据库相关元数据表(DBS、DATABASE_PARAMS)
DBS：hive中所有数据库的基本信息
字段 |
含义 |
值 |
DB_ID |
数据库ID |
6 |
DESC |
数据库描述 |
wxk |
DB_LOCATION_URI |
数据库HDFS路径 |
hdfs://hadoop002:8020/user/hive/warehouse/wxk.db |
NAME |
Hive数据库名 |
wxk |
OWNER_NAME |
Hive数据库所有者用户名 |
root |
OWNER_TYPE |
Hive所有者角色 |
USER |
DATABASE_PARAMS：
空
3、hive 表和视图相关的元数据表
TBLS 存储 hive 表、视图、索引表的基本信息
字段 |
含义 |
值 |
TBL_ID |
表ID |
43 |
CREATE_TIME |
创建时间 |
1506333442 |
DB_ID |
数据库ID |
6 |
LAST_ACCESS_TIME |
上次访问时间 |
0 |
OWNER |
所有者 |
root |
RETENTION |
保留字段 |
0 |
SD_ID |
序列化配置信息 |
53 ;对应SDS表中的SD_ID |
TBL_NAME |
表名 |
dept |
TBL_TYPE |
表类型 |
MANAGED_TABLE 或者 EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW |
VIEW_EXPANDED_TEXT |
视图的详细HQL |
NULL |
VIEW_ORIGINAL_TEXT |
视图的原始HQL |
NULL |
TABLE_PARAMS 存储 表、视图 的属性信息
字段 |
含义 |
值 |
TBL_ID |
表ID |
43 ;对应TBLS的tbl_id |
PARAM_KEY |
表属性名 |
numFiles、totalSize、transient_lastDdlTime |
PARAM_VALUE |
表属性值 |
1、35、1506333450 |
TBL_PRIVS
空
4、Hive 文件存储信息相关的元数据SDS、SD_PARAMS、SERDES、SERDE_PARAMS
SDS 存储文件存储的基本信息：
字段 |
含义 |
值 |
SD_ID |
存储信息ID |
53 对应tbl_id |
CD_ID |
字段信息ID |
43 对应column_v2 的CD_ID |
INPUT_FORMAT |
文件输入格式 |
org.apache.hadoop.mapred.TextInputFormat |
IS_COMPRESSED |
是否压缩 |
0 |
IS_STOREDASSUBDIRECTORIES |
是否以子目录存储 |
0 |
LOCATION |
HDFS路径 |
hdfs://hadoop002:8020/user/hive/warehouse/wxk.db/dept |
NUM_BUCKETS |
分桶 |
-1 |
OUTPUT_FORMAT |
文件输出格式 |
org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |
SERDE_ID |
序列化类ID |
53 ，对应SERDES 的 SERDE_ID |
SD_PARAMS 空
SERDES
字段 |
含义 |
值 |
SERDE_ID |
序列化类配置ID |
53 ，对应SDS的 SERDE_ID |
NAME |
序列化类别名 |
NULL |
SLIB |
序列化类 |
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
SERDE_PARAMS 存储序列化的一些属性、格式信息，比如行、列
字段 |
含义 |
值 |
SERDE_ID |
序列化配置ID |
53 ，对应SDS的 SERDE_ID |
PARAM_KEY |
属性名 |
field.delim 分列、serialization.format |
PARAM_VALUE |
属性值 |
5、Hive 表字段相关元数据表COLUMNS_V2
COLUMNS_V2 存储对应的字段信息
字段 |
含义 |
值 |
CD_ID |
字段信息ID |
43 对应SDS 表CD_ID |
COMMENT |
字段注释 |
NULL |
COLUMN_NAME |
字段名 |
deptno、deptname、depadd |
TYPE_NAME |
字段类型 |
int、string、string |
INTEGER_IDX |
字段顺序 |
0、1、2 |
6、Hive表分区相关的元数据表 PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
PARTITIONS 存储分区的基本信息
字段 |
含义 |
值 |
PART_ID |
分区ID |
14、15、16、17 |
CREATE_TIME |
分区创建时间 |
1506226696 |
LAST_ACCESS_TIME |
最后一次访问时间 |
0 |
PART_NAME |
分区名 |
deptno=10、deptno=20、deptno=30、deptno=__HIVE_DEFAULT_PARTITION__ |
SD_ID |
分区存储ID |
15、16、17、18 对应SDS表的SD_ID |
TBL_ID |
表ID |
6 对应TBLS的tbl_id |
PARTITION_KEYS 存储分区的字段信息
字段 |
含义 |
值 |
TBL_ID |
表ID |
6 对应TBLS的tbl_id |
PKEY_COMMENT |
分区字段名说明 |
null |
PKEY_NAME |
分区字段名 |
deptno |
PKEY_TYPE |
分区字段类型 |
int |
INTEGER_IDX |
分区字段顺序 |
0 |
PARTITION_KEY_VALS 存储分区字段值
字段 |
含义 |
值 |
PART_ID |
分区ID |
17、16、15、14 对应PARTITIONS 的PART_ID |
PART_KEY_VAL |
分区字段值 |
10、20、30、__HIVE_DEFAULT_PARTITION__ |
INTEGER_IDX |
分区字段顺序 |
0 |
PARTITION_PARAMS 存储分区的属性信息
字段 |
含义 |
值 |
PART_ID |
分区ID |
17 |
PARAM_KEY |
分区属性名 |
numFiles、numRows、rawDataSize、totalSize、transient_lastDdlTime |
PARAM_VALUE |
分区属性值 |
1、3、127、130、1506226696 |
从以上这些表中，可以看到这些表由几个关键字作为连接的：
DB_ID 、TBL_ID、SD_ID、CD_ID、SERDE_ID 、PART_ID
各表关系图【主键】：
