数据治理那些事儿

15645516-e24889bcd90d34a1.jpg
数据治理势在必行

        终于在那天人们回想起了:

       业务分析师不得不对IT部门负责,因为他们不知道如何导航信息管理系统数据库,即使他们可以也不会被授予访问权限。IT部门打印出月度报告并分发它们,就像摩西从石头上下山一样。

       随着个人计算机的出现,权力的平衡从根本上发生了变化。突然之间,商人可以访问电子表格,并可以创建自己的计算和分析,即使数据仍然大部分无法触及。然后是客户端/服务器计算和急于分散数据,带来了新的可能性,但也因为不同部门使用不同版本的数据而产生混淆。分析师争论谁的版本是正确的。分析现在可以由业务分析师完成,但如果没有就数据源的合法性达成一致,则会出现混乱。

数据治理的曙光

       IT部门使用数据仓库进行响应,数据仓库会在断开连接的交易系统中收集数据,仅用于分析。出现了聪明的报告工具,可以更轻松地操作,加入和汇总原始交易表,甚至可以将它们下载到电子表格中。当然,原始数据仍然存储在不同的应用程序和格式中,但只要付出足够的努力,就可以诱使数据仓库理解所有这些,提供客户,产品,资产和位置等维度。但是,要实际生成一致的客户和产品列表,必须解决底层系统的不一致问题。

       主数据管理(MDM)诞生了,与此同时,还需要数据治理策略。鼓励或哄骗业务用户决定哪些客户和产品的分类是“黄金记录”,要在整个企业中高举,哪些将被投入到部门特定的本地术语的荒野中。这是一个经常激烈的过程,不同的部门争论哪个是分类数据的最佳方式。一些公司文化比其他文化更适合这种方法。高度集中的公司习惯于从高度但分散的方式决定结构,并努力保持数据治理结构。这些公司的分析师认为自己是自由战士,而中央办公室的分析师则认为他们是数据恐怖分子。

数据治理——数据质量管理平台

        通过 EsDataClean,可以及时发现、定位和解决数据仓库建设过程中各环节的数据质量问题,并完成问题数据的流转和处理,同时对数据质量进行评估和监控,有助于不断改进数据质量管理水平,大大提高数据仓库建设效率及展现层的数据可靠性。

        EsDataClean用于解决业务系统运行、数据仓库建设及数据治理过程中的数据质量问题。它以标准化的数据质量规范为基础,运用数据挖掘、数据分析、工作流、评分卡、可视化等技术帮助组织建立数据质量管理体系,提升数据的完整性、规范性、及时性、一致性、逻辑性,降低数据管理成本,减少因数据不可靠导致的决策偏差和损失。


15645516-c387c7bfd1b9c223.png
产品架构

数据治理——元数据管理平台

       亿信元数据管理平台元模型以Meta Object Facility(MOF)规范为基础,支持XMI格式的元模型导入和导出,同时内置大量技术元数据、业务元数据的元模型,用户可直接使用。元模型管理对元模型的基本信息、属性、父子关系、依赖关系、组合关系的增删改查操作,内置元模型的内置信息不允许修改或者删除,但可进行新增操作。

15645516-262d78ecbc8d6798.png
管理架构

        对元数据信息的维护除界面手动操作方式外,亿信元数据管理平台利用内置采集适配器,让用户通过配置数据源参数及定时采集任务,进行自动化采集。实现直连数据源的端到端元数据采集。

15645516-d4b1ddafe38fae6c.png
查看界面

       对技术人员而言,元数据管理平台通过对将分散、存储结构差异大的资源信息进行描述、定位、检索、评估、分析,实现了信息的描述和分类的结构化,从而为机器处理创造了可能,大大降低数据治理人工成本。正因如此,元数据已经成为了很多大型数据治理项目的核心。所以在进行数据治理的时候我们应该使用真正适合自己公司的产品。

猜你喜欢

转载自blog.csdn.net/weixin_34212762/article/details/87705094