数据暴涨时代,数据治理怎么办?

作者丨Amit Walia

Informatica产品和营销部总裁

随着那些需要持续消耗和产生数据的技术的出现,数据暴涨时代已经到来。目前存在着两类数据治理需求:安全需求以及企业范围内整体数据治理(而非基于筒仓式的治理)的需求。

如今企业中出现了一个新的重要价值来源,即与所谓指数发展型技术相关联的数据。物联网(IoT)、增强现实(AR)、人工智能和机器人就是指数发展型技术的几个范例。

一般来说,这些技术产生并消耗着海量的数据,通过恰当的治理,这些数据就能成为新的具有颠覆性的客户互动、新产品及服务、新商业模式以及数字化转型的基础。尽管每种技术本身均提供了独特的机会和挑战,但对所有这些技术而言,在数据治理上有两个方面是至关重要的:安全需求以及企业范围内整体数据治理的需求。原因是什么呢?

01

搭建信任桥梁的必要性

公司与客户以及利益相关者之间的关系通常建立在相互信任的基础之上。然而,最近一段时间,很多公司都未能很好地履行他们的承诺。某些法规(如通用数据保护条例(GDPR)和新的加州消费者隐私法)的颁布正是这种信任关系出现裂痕的征兆,这种裂痕正是在发生无休止的数据泄露以及未经客户同意或授权而滥用数据的情况下产生的。

为恢复彼此间的信任,仅仅基于合规性要求开展数据治理是不够的。公司必须成为真正意义上的数据保管者,而且,数据治理必须由客户以及利益相关者共同推动。考虑到今天的公司正处于复杂的、碎片化的数据世界中,这需要一种广泛的端到端战略。

02

整体视角

与数据打交道的每一个人都了解数据有着强烈的碎片化倾向。例如:对采购活动有很好帮助的数据不一定能满足工厂车间的需要,这些数据的作用要远小于仓储系统或零售系统,尽管这些业务功能之间存在着大量的相互依存关系。

指数发展型技术并无例外,同样存在着数据筒仓化的倾向。由于这些技术的早期迭代活动更多被视为具有引导或实验性质,因此,对企业其它部门的数据和元数据进行集成和共享的工作可能被排在了各项工作之后。但在架构层,对所有支撑这些技术的数据进行集成和治理必须作为一项核心设计原则,而不仅仅是事后的考虑,否则将明显延长从实验阶段到实际阶段的演变过程。

指数发展型技术范例:物联网(IoT)、增强现实(AR)、人工智能和机器人。

物联网

对物联网来说,数据治理面临的挑战与3V的每个方面都有关系,即“容量、速度及多样性”。当公司还在摸索如何处理大数据时,物联网却在以数量级方式使大数据容量黯然失色。此外,物联网产生的是流数据,这与传统的交易型数据大不相同。如果公司希望实时利用这些数据,就需要了解如何对流事件进行即时分析和处理,但他们通常无法控制数据源和数据采集方式。为做到这一点,公司需要向客户提供特定的功能,例如:一台由生产商监控的联网汽车能够在任何破坏情况发生之前向驾驶员通报油量较低或传感器故障等情况。

对所有数据进行摄取、过滤和聚合需要细致的规划,并且任何“微小的”细节都可能对成功起到巨大的作用,例如,传感器的读取频率。存储是另一方面的问题。从长远看,现有的批量采集方式并不合适,因为公司需要存储太多的数据。最后,为从这些数据所能阐明的新的分析中获得真正的价值,必须找到将这些数据与其他的企业数据(包括存在于旧系统中的数据)进行集成的方法。

增强现实

增强现实技术依赖于两类数据:位置数据(位置、方向)和相应的资产,包括文本资产和视觉资产,这些都是增强用户视觉效果所需要的。在这一领域,好的数据治理意味着立刻就能获得所需资产,这种需求可能影响存储方式的选择。某些资产还需要进行定期更新(例如,与零售相关的资产),但为增强体验效果,这样做是值得的。例如,顾客进入一家百货商场,导购员会根据顾客的购买历史,将其带到特定的显示器前。在这里,顾客会通过配备了增强现实技术的“魔镜”看到自己穿戴新装后的效果,而无需真正穿上这些服装。

人工智能和机器人

数据治理是人工智能项目能否成功的关键因素之一,这是因为如果缺少可用的、相关的和可信的数据,就无法实现人工智能。任何人工智能技术的可用性和价值都直接依赖于它所获取的数据。这一事实使诸如数据发现以及数据控制之类的数据管理功能变得比以往更加重要。开发算法的数据科学家必须很方便地找到其所需要的数据,无论数据在什么位置,也无论数据表现为何种形式。专家们还需要依赖于其所处理的数据的质量。

考虑到训练机器学习系统需要大量的可信数据,数据的质量非常关键。质量不高或不完整的数据有时会导致严重的问题。举一个极端的例子:对基于机器学习技术并用于检测肺炎或癌症的X射线分析技术而言,如果依靠的是不充分的数据,则可能会由于漏检某些疾病而使患者面临生命危险。

数据暴涨时代,数据治理怎么办?

对人工智能和机器学习而言,请记住很重要的一点:算法不仅消耗数据,还产生数据,有些数据还会被提供给其它算法。基于这个原因,数据治理可能会随着时间不断地演进,从而将算法治理也包含在内。

利用指数发展性技术实现智能颠覆

来自指数发展型技术的数据将成为一种显著的颠覆性力量。一个突出的例子就是新系列4(Series 4)的苹果手表,它采用了一种美国食品及药品管理局批准的心电图技术。对于特定患者,该功能会产生内容丰富的数据集,这是由于它能记录各种情况(如运动、情绪紧张或睡眠)下的心跳活动,而这是在诊所时很难仿真的。由于不必去诊所,这种技术减少了人们的往返成本。这可以被看作是一种非居间化现象,在这里,诊所是医生和患者之间的居间环节。

这只是众多例子中的一个,这些例子说明了指数发展型技术是如何颠覆既有过程的。凭借基于用户和利益相关者需求的整体数据治理,物联网(IoT)、增强现实(AR)、人工智能(AI)和机器人技术都将产生具有颠覆性潜力的数据。

猜你喜欢

转载自blog.csdn.net/weixin_43696133/article/details/88026419