漫谈数据治理之三：流程上的规范化

治理理论概述

我们目前所积累的数据治理经验，大多数是在互联网场景下的，且与自己工作高度相关。如果想更进一步的搞好数据治理，就应该看一下业界相关的一些权威机构的理论。以国际数据管理协会，也就是DAMA，协会提供了一种DMBOK方式，覆盖了企业数据管理领域的十个方面，十分适合阿里腾讯这种大型企业。可以说，这是一个很不错的参考框架，用来对比我们目前的数据管理工作，寻找不足之处。

下图为数据管理十方面理论：

下图为十方面理论每个方面的内容详情：

这里对10个职能翻译一下，内容如下：

• 数据治理
• 数据架构管理
• 数据开发
• 数据操作管理
• 数据安全管理
• 数据质量管理
• 参考数据和主数据管理
• 数据仓库和商务智能管理
• 文档和内容管理
• 元数据管理

治理思路概述

我们将上一章节的内容作总结，数据治理大概可以从两条路来进行考量，一种是全局出发制定完善的流程，一种是从局部出发先解决闭环问题。

• 全局出发：要遵循完整的10个治理内容，就需要领导者有推进的能力，将数据治理放在数据职能之上，通过完整的规范来落地执行措施。这种方式实行成本较大，执行周期很长，但落地效果一般都很不错，适合中层管理者来推动执行。

• 局部出发：假如数据职能的要求非常高，数据治理优先级要低一些，也可以通过启动治理事项的方式，先解决局部的小问题，例如文档撰写，通过项目的形式来实现目标。

治理流程实践

在笔者的实际工作场景中，数据质量与数据职能的要求同样高，因而不能简单的只进行局部优化，也没有足够的精力进行全局优化。因此，笔者将数据治理的流程进行简化，挑选最终的部分予以保障，舍弃掉一些提升不大的项目。在实际的工作中，有四点是最重要的：质量、资产、操作和文档。

• 日常操作：明确数据开发的规范，例如表名、分层、代码规范、注释、上线流程等。
• 数据质量：重点关注四个方面，第一个是基线延迟，也就是监控我们的任务是否能按时产出；第二个是数据量波动，如果波动较大，意味着业务过程多少出现了问题；第三个是业务指标异常，例如PV、UV等出现了大范围波动，通常意味着业务出现了问题；第四个是相同指标统计结果不一致，这个问题需要有完善的OneData体系建设，能够避免因为口径问题被业务方质疑。
• 文档撰写：文档要及时补充三点内容，第一个是数据模型，要及时更新业务系统的相关逻辑，可沉淀指标加入到公共库中，并且建设好对应的中间层，避免后续重复开发工作；第二个是开发规范，及时做好CodeReview，加好代码注释，对脚本参数进行相应的规范；第三个是及时更新需求模块，该补充评审的内容加上，可以简化的部分去掉。
• 资产管理：从实际消耗的计算和存储资源出发，当集群资源达到一定的限制，例如存储达到80%，就开始启动治理专项。

我们组成一个环形：
日常操作 -> 数据质量 -> 文档撰写 ->资产管理。
也就是，日常操作遵循一定的规范，任务上线后遵循一定的数据质量配置流程，项目结束后及时撰写文档，定时对资产进行盘点。有了这个环路治理，基本上绝大多数的问题都能被覆盖掉。