数据数据中台体系化建设核心方法论

“我报名参加金石计划1期挑战——瓜分10万奖池,这是我的第1篇文章,点击查看活动详情

前言

大家好,我是王老狮,最近一直忙于工作,没有更新博客,借着和专家圈子们进行分享交流的机会,强迫自己花时间写了一些内容,今天就把交流会上的分享内容分享给大家。希望对大家有所帮助。

初识数据中台

说到中台,最早是由阿里在2015年提出的"大前台,小中台"战略中延申出来的概念。灵感源于芬兰的一家游戏公司superCell,也就是接连做出部落冲突,皇室战争等爆款游戏的公司。该公司里一般5-7人就组织成一个独立开发团队,通过将公司开发过程中公共和通用的游戏素材和算法整合起来,并在过程中积累了非常科学的研发工具和框架体系,构建了一个强大的中台。这样就可以快速支持起一个小团队短时间内开发出一款新游戏。如果市场观察不好,也可以快速砍掉。减少试错成本。

在中台存在之前,一般业务支撑都是通过前台和后台。前台一般是直接面向使用用户的交互系统,如抖音,微信等。后台一般是企业内部职称的管理平台,是企业管理核心能力的系统,如CRM,ERP等。

image.png

前台一般面向用户是需要快速响应用户的需求,快速创新和迭代。后台是对于企业内部的,为了支撑前台更多的业务,后台要不断的建设,系统不断地膨胀。所以后台系统需要稳定,不能随意改动。

image20220901193635084.png

因此在企业发展过程中,随着业务不断增多,就会出现组织架构和层级等系统不断膨胀。出现各个业务部门组织各占山头的局势。出现了各个业务部门墙,业务墙,数据墙,导致部门间相互封闭。资源利用率不高。本来共用的能力结果重复造轮子。

与其说中台是一种架构,不如说是因为公司业务在不断发展膨胀过程中,为了下一步发展,解决公司组织架构臃肿以及资源整合的一种解决方案,使其能够快速复制以及响应市场的变化。

image20220901193746221.png

聊了那么久中台,相信大家对中台有了些概念,那么什么是数据中台呢?

数据中台是2018年开始慢慢走进数据人的视野,并在2020年开始越来越火,聊他之前,我们先看下他与数据仓库和数据湖,大数据平台到底有什么区别。

在90年代,企业为了更方便自己做运营分析决策,开始将各个经营门店的数据进行整合,但是因为数据分析需要聚合多个维度的数据,并且要保存历史的数据并进行大批量范围查询。传统数据库已经满足不了数据分析的场景,因此出尽了数据仓库的出现。数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的,不可修改的数据集合。

后面随着进入互联网时代,数据开始爆炸性增长。并且数据类型开始变的繁多,谷歌和亚马逊为代表的互联网的剧透首先进行了相关探索,谷歌率先发表了3篇论文,奠定了大数据时代数据技术基础,它们提出了一种新的,面向数据分析的海量异构数据的统一计算、存储的方法。直到2005年hadoop的出现,大数据技术开始普及。后面数据湖的出现,标志着hadoop趋向走向成熟的标志。

随着大数据技术的普及,大家开始注重数据的开发效率。大数据平台开始兴起。通过按照大数据的使用流程和场景,从数据采集,数据清洗,数据开发,数据建模,数据测试,数据运维,开始数据的流水线式的开发模式。

2016年左右,互联网告诉发展,数据需求越来越多,应用场景也越来越多。数据和运营称为不可分割的一部分。为了满足业务的数据开发需求,前期烟囱式的开发导致企业内的不同产品线数据是割裂的。并且实际运用数据过程中发现,相同业务线的不同系统中,同一个指标数据结果不一样。这样带来很大的一个问题,就是数据割裂严重,大量重复计算,研发效率低,浪费存储资源,跨系统数据打通困难,上层想要统揽企业数据资产整合难。更多的时候老板开始谈论数据的价值。 这一年,阿里率先提出数据中台的口号。

数据中台的核心:是避免数据的重复计算,通过数据服务化,提高数据的共享能力,赋能数据应用。数据应用的速度不在受限于数据开发的速度,中间数据不在难于共享,无法积累。通过数据中台孵化更多数据应用,使其产生价值。

image20220901202351028.png

数据中台的核心方法论

OneData和OneService

在2016年时,阿里就喊出了数据中台的口号,并且提出了数据中台建设的核心方法论OneData和OneService。如何理解这些定义呢?

这些方法论并没有明确的定义,但是在我们实践过程中,我们更应该注重这些方法论解决了什么样的问题。我们在做中台建设过程中,我是这么理解的

OneData:所有数据只加工一次,数据指标统一来源。

主要包括以下几个核心:

image20220901203851597.png

对数据交付制定对应的规划和流程。以提高数据交付的质量。

OneService:所有数据统一服务,提供数据统一出口,并且数据中台的数据应该以API的方式进行访问。

数据服务应该具备以下能力:

image20220901204315675.png

阿里数据中台能力全景图:

image20220901195116192.png

就是按照业务划分数据建立OneData体系,通过统一对外服务中间件OneService支持上层数据应用。

技术支撑

同时有了方法论的支撑,还需要有好的工具以及技术作为支撑。当前我们主要基础设施如下:

image20220901221702647.png

数据处理链路:

image20220901221544699.png

组织架构

凡是涉及到中台建构的,都离不开组织架构的调整。如果之前没有做过数据的,从0开始,历史包袱可能比较小。如果公司规模较大,存在多个数据孤岛,独立小数仓。那么在组织上还需要有个协同团队,用于推进数据中台体系能力的建设。数据中台提供的是一个跨部门共享数据的能力,因此承担中台建设的职责部门也一定是独立于业务线的部门,并且汇报负责人也是需要是公司高层,这样才能保证项目稳定运行的推进。

数据中台能力建设概览

其实数据中台的建设根据每家公司的情况建设方法也不一样。我们更多的是要明确当前数据存在哪些问题,针对痛点数据问题的优先级,公共能力抽象进行数据中台的能力建设,对数据进行分权分域的治理,保证数据进得来,管得了,治得好,看得见,控得住,可共享,以提高数据的使用价值。

大数据体系化建设全景图:

image20220901205032720.png

其实数据中台的每一项能力都是一个课题,如元数据管理,数据质量,数据成本,数据治理,都可以拿来好好讲一下,因为时间原因,今天就先到这里。希望大家今天对数据中台有了一个大概的认知,后续如果有机会可以按照中台能力再给大家详细介绍。谢谢~

猜你喜欢

转载自juejin.im/post/7139344956593799182