数博 — 可量身定制的数据治理平台

在这里插入图片描述
在大数据浪潮下,大数据平台建设如火如荼,大数据平台建设本质上是数据的建设。由于数据量逐渐庞大导致的一系列问题,使很多用户意识到数据治理的重要性,因此数据治理也逐渐在各行业大数据平台建设中引起极大的关注。

目前大数据平台的突出问题主要体现在数据结构、网络环境的复杂性以及数据不准不全、不深不细、数据应用场景缺失、数据标准不一致等方面。针对上述问题,北大软件自主研发了以大数据采集、融合和治理为主的数据资源管理平台——数博数据治理平台

数博数据治理平台采用主流的分布式存储、大规模并行计算和统计学习技术,支持流计算和批处理等数据处理方式,满足政府多源异构数据的采集、基于动态本体的数据融合、大规模数据资源的存储组织等需要,同时支持数据资源应用和数据资源运营等多种应用场景,可根据用户的需求量身定制。

在数据采集方面:平台主要在多源异构数据采集的融入、分布式存储和分布式计算等技术方面有针对性地进行加强,在1个月内有效实现了130多家单位250多个业务系统的互联互通,完成了近2万个数据集,2.2亿条信息的汇聚存储。通过制定88套清洗融合分析模型,对原始数据进行清洗融合,形成涵盖多业务领域的各种主题资源库。

在数据存储组织方面:平台构建数据隔离层、脱敏层、共享层、监管层,有效实现数据资源在采、存、管、用过程中分级授权、脱敏共享、水印追溯和颗粒化定制等状态中的全面保护,保障数据安全运行。

在数据应用建设方面:基于平台提供的数据监控、画像和检索等基础工具,可构建业务图谱、领域图谱,实现管理对象和业务主体的全息画像,通过基于自然语言处理技术的智能检索,有效降低信息获取的门槛和难度,为业务智能化、决策辅助、趋势洞察等提供了大数据增值服务。

数博数据治理平台自2018年在某部委上线以来,先后构建了数据中心、调度中心、调度大厅和数据服务大厅。重点解决元数据不准不全、主题数据结构不合理和应用场景缺失、数据共享流通不畅和供需信息不对称等建设过程中的阻碍性难题。某部委顺利实现内外数据资源的有效汇聚、开放共享和集中管控,提升数据资源服务的水平与效能。

数据治理不是一个临时性的行为,而是一项基础性的工作,需要从战略上落实,从上到下进行推动,进而使数据创造更多价值。下一步,北大软件将以数据安全为基石,提供高附加值数据服务,持续打造具有定制化特色的数据治理平台,为数据建设保驾护航,构筑稳定之基。

猜你喜欢

转载自blog.csdn.net/qq_35063663/article/details/99715432