数据资源的元数据

元数据

元数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在企业中,只要有数据存在的地方,就有其对应元数据。只有完整、准确的元数据存在,才能更好地理解数据,充分挖掘数据的价值。

元数据按大类可分为 技术元数据、管理元数据、业务元数据。

一、技术元数据

1、物理元数据

     描述物理资源的元数据,包括但不限于服务器、操作系统、机房位置等信息。

2、数据源元数据

描述数据源的元数据,通常包括四类信息:
• 数据源地址(IP、PORT等)
• 物理拓扑(主备、角色等)
• 权限(用户名、口令等)
• 库名、版本、域名等

3、存储元数据

描述对象存储的元数据,也是通常"狭义"上的元数据,包括几大类
• 管理属性(创建人、应用系统、业务线、业务负责人等)
• 生命周期(创建时间、DDL时间、版本信息等)
• 存储属性(位置、物理大小等)
• 数据特征(数据倾斜、平均长度等)
• 使用特征(DML、刷新率等)
• 数据结构
• 表/分区(名称、类型、备注等)
• 列(名称、类型、长度、精度等)
• 索引(名称、类型、字段等)
• 约束(类型、字段等)


4、计算元数据

描述数据计算过程的元数据,通常可分为数据抽取(ETL)或数据加工(JOB)两类计算。每类计算又可以进一步细分
• 控制元数据(配置属性、调度策略等)
• 过程元数据(依赖关系、执行状态、执行日志等)

5、质量元数据

描述数据质量的一类元数据。通常情况下,是通过定义一系列质量指标反映数据质量。

6、操作元数据

描述数据是如何进行使用的一类元数据。
• 数据产生(产生时间、作业信息等)
• 表访问(查询、关联、聚合等)
• 表关联(关联表、关联字段、关联类型、关联次数)
• 字段访问(查询、关联、聚合、过滤等)

7、运维元数据

描述系统运维层面的元数据,通常包括任务类、报警类及故障类。

8、标准元数据

描述数据标准化内容的元数据。
• 代码管理(转换规则、对外接口等)
• 映射管理
• 数据展示(样式、规则、语义、单位等)

9、采集元数据

描述数据抽取、数据录入、数据读取等获取数据的相关内容,包括:采集方式、采集源、频率等

10、共享元数据

描述数据是如何共享的部分,包括接口方式、格式、内容等。

二、管理元数据

描述数据内容的管理性信息。例如:数据产生时间、数据审核时间、数据提交时间、操作人员、岗位、所属部门、审核状态、质量标识、计算机ID、数据密级等。

三、业务元数据

1、模型元数据

数据建模,是一种对业务的描述,通过模型可更好地了解业务。

常见的建模方式有范式模型、维度模型、多维建模等。下面以维度模型为例进行说明。
• 业务线、板块、过程
• 数据域、主题域
• 维度、属性
• 指标
• 事实、度量
• 集市与应用

2、应用元数据

描述数据应用类的元数据。

3、分析元数据

从数据分析角度,描述业务的元数据。
• 数据域、主题域
• 产品线、板块、业务过程
• 业务流程
• 业务规则
 

发布了1 篇原创文章 · 获赞 0 · 访问量 30

猜你喜欢

转载自blog.csdn.net/scott_zhurui/article/details/104422430