一. 背景
随着信息技术的普及,人类产生的数据量正在以指数级的速度增长,如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构(企业或政府部门)的数据作为战略资产来管理,需要从数据收集到处理应用的一套管理机制,以期提高数据质量,实现广泛的数据共享,最终实现数据价值最大化.目前,各行各业对大数据的研究比较火热,但对于大数据治理的研究还处于起步阶段,一个组织的正确决策离不开良好的数据治理。
大多数组织不考虑数据质量对大数据平台建设、分析应用等方面的重要影响而盲目投入,缺乏对大数据资源的整体规划和综合治理,最终导致一些项目实施的终止和失败.
数据治理的重要前提是建设统一共享的数据平台。数据治理不仅要规范数据 , 实现数据的价值和管控风险 , 还要做到隐私保护 .
二. 数据治理的现状
2.1 数据治理的定义
至今为止,数据治理还没有统一标准的定义.IBM 对于数据治理的定义是,数据治理是一种质量控制规程,用于在管理、使用、改进和保护组织信息的过程中添加新的严谨性和纪律性[6].DGI 则认为,数据治理是指在企业数据管理中分配决策权和相关职责[6]. 数据治理的目标,总体来说就是提高数据质量,在降低企业风险的同时,实现数据资产价值的最大化,包括:
• 构筑适配灵活、标准化、模块化的多源异构数据资源接入体系;
• 建设规范化、流程化、智能化的数据处理体系;
• 打造数据精细化治理体系、组织的数据资源融合分类体系;
• 构建统一调度、精准服务、安全可用的信息共享服务体系.
其次,我们还需理解数据治理的职能——数据治理提供了将数据作为资产进行管理所需的指导.最后,我们
要把握数据治理的核心——数据资产管理的决策权分配和指责分工[7].
由此,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利用进行评估、指导和监督(EDM)的过程,通过提供不断创新的数据服务,为企业创造价值[6].
数据治理与数据管理是两个十分容易混淆的概念,治理和管理从本质上看是两个完全不同的活动,但是存在一定的联系,下面我们对这两个概念进行详细的解读.
管理是按照治理机构设定的方向开展计划、建设、运营和监控活动来实现企业目标 [6] . 所以 , 治理过程是对管理活动的评估、指导和监督 ,而管理过程是对治理决策的计划、建设和运营 .
具体分析 : 首先 , 数据治理与数据管理包含不同的活动即职能 , 数据治理包括评估指导和监督 , 数据管理包括计划建设和运营 ; 其次 , 数据治理是回答企业决策的相关问题并制定数据规范 , 而数据管理是实现数据治理提出的决策并给予反馈 ; 最后 , 数据治理和数据管理的责任主体也是不同的 , 前者是董事会 , 后者是管理层 .
2.2 大数据治理
目前业界比较权威的大数据治理定义是:
- 大数据治理是广义信息治理计划的一部分,它通过协调多个职能部门的目标,来制定与大数据优化、隐私与货币化相关的策略[10].
此定义指出:
- 大数据的优化、隐私保护以及商业价值是大数据治理的重点关注领域,大数据治理是数据治理发展的一个新阶段,与数据治理相比,各种需求的解决在大数据治理中变得更加重要和富有挑战性[6].
海量数据存储:根据本地实际数据量级和存储处理能力,结合集中式或分布式等数据资源的存储方式进行构建,为大数据平台提供 PB 级数据的存储及备份能力支撑
处理效率:大数据治理提供多样化的海量数据接入及处理能力,包括对各类批量、实时、准实时及流式的结构化、非结构化数据提供快速的计算能力和搜索能力.对于大数据的搜索能力方面,为了保证数据安全,大数据在云计算平台上的存储方式一般为密文存储,因此,研究人员设计了很多保护隐私的密文搜索算法.
数据可靠性:围绕行业数据元相关标准规定,基于行业元数据体系打造大数据平台采集汇聚、加工整合、共享服务等全过程的、端到端的数据质量稽核管控体系,确保数据准确可靠
数据安全性:数据价值是大数据平台的核心价值,所以数据的安全是保证平台运行的基础.数据安全包括数据存储的安全、数据传输过程中的安全,数据的一致性、数据访问安全等.数据安全措施主要有数据脱敏控制[30]、数据加密控制、防拷贝管理、防泄漏管理、数据权限管理、数据安全等级管理等.
