Why Alibaba itself is a cloud on best practices in data table

Author: Tasting [More detailed data sets official website  https://dp.alibaba.com  ]

数据中台门在阿里巴巴集团干什么的,由哪个部门掌管?数据中台在阿里巴巴的主要作用是什么呢?外面吹嘘这么神秘的数据中台在阿里实践的如何呢?今天小编正好要采访数据技术及产品部门里面一个老大,带大家来一探究竟。

刚一开头,老大就陷入沉思,沉重的说:“数据技术及产品部门在阿里巴巴集团其实已走过16个年头,掌管着全集团的数据资产,那么多年的积累,帮助阿里建立起了一套完整的数据体系,对业务有全面的支撑。”整个数据中台从基础设施,基础数据技术起步,到数据资产管理;从内部的数据挖掘到体系规范、标准、流程和体系制定;外部产出从数据可视化技术到数据应用,使得内部的小二从方方面面都感受到数据中台的真实存在。

Historical data technology and product sectors

说到数据中台不能不说阿里的底层基础架构的扎实程度,数据中台基于阿里云的基础设施,使用了Maxcompute大数据平台、Analysis database、HBase、ECS等基础组件,基于这些基础组件之上,数据技术及产品部门的智慧工程师们开发了数据资产,它管理着全域大数据,统一的数据建设、管理、服务,服务阿里外部千万用户和内部业务给全集团小二们方便使用全集团的数据,当然这些都有严格的安全和权限管理哦,只有有需要的小二才可以看到和使用哦!
数据技术及产品部门汇集了各种数据,因此数据官们开发了各种各样的数据技术帮助业务部门实现快速而准确的数据,大家耳熟能详的oneID技术、反作弊技术、牛逼的双十一实时计算大屏技术等都是数据技术及产品部门小二们开发的哦,非常赞的科技!这些牛逼的技术帮助阿里实现了各种场景的对外和对内的数据应用,数据挖掘技术产出帮助阿里小二们更好的对业务作出判断,实现更好的营销,对外赋能生意参谋产品,使得商家对天猫和淘宝小店的业主们了解自己的生意,生意参谋通过生意背后一盘数据的数据产品服务。基于全渠道数据融合、全链路数据产品集成,为商家提供数据披露、分析、诊断、建议、优化、预测等一站式数据产品服务。目前,生意参谋服务的商家已经超过2000万,月服务商家超过600万;在月成交额30万元以上的商家中,逾90%在使用生意参谋,这可是一个非常高的比例喔!

image

Business staff Screenshot

得益于阿里巴巴生态和业务体系,阿里数据沉淀了包括电商交易、搜索、物流、支付、广告、风控、移动、视频等种类多样的高质量数据,因此产生了各种数据应用为不同的部门和外部客户提供各种数据服务,采访领导讲,这些应用实在太多了,有为公司高管决策服务的数据挖掘分析产品;有为品牌厂商提供人群分析的品牌银行数据服务;有为集团服务的OneID查询,通过算法和深度挖掘实现的人群画像服务;为其他部门Web或App端开发规范和数据采集的数据埋点和采集系统;甚至还有为阿里云的用户实现敏捷报表开发的QuickBI产品…,哎呀呀,什么生意参谋、quickBI,Dataphin、FBI、可视化埋点、品牌银行、企业参谋,数据质量,数据资产…巴拉巴拉几十个名字,一大串数据产品名字,小编快记不过来,临了领导还提醒小编要保密哦。不过最后小编看到一个叫阿里数据的产品,印象深刻,这可真是一个宝贝,让小编有”一机在手,全盘掌握”的感觉。

很多人都以为数据技术及产品部门是一个ETL或数据处理部门,其实数据技术及产品部门大部分人都是码农哦,他们用最新的技术打造最好用的数据,大家都知道开源的流处理Flink吧,它是流处理技术的后期之秀哦,现在看几乎已经要打败sparkstreaming,storm等前辈,之所以被码农们普遍接受,很重要一点就是阿里的工程师在flink上实现了SQL编程,贡献给社区,让流计算开发变得简单、易用。这些阿里贡献给社区的还有很多,比如DataX,Hadoop等,另一块大家看的眼馋的是数据可视化技术、阿里利用最新的Web端技术、2D、3D的自由发挥,大规模的数据量绘制,借助图形化手段,清晰有效的出阿达数据意义,这块在阿里双十一零点那刻发挥的淋漓尽致。

image

Dual 11 Carnival global data screen

数据技术及产品部门不仅数据应用和数据产品做得好,阿里还非常重视体系,组织和标准化的建设,你要知道阿里巴巴是一个10万人的大经济体,阿里的数据服务涵盖所有部门,因此标准、数据规范、采、建、管、控、用的流程非常重要,需要有一个体系,一整套标准来保障阿里数据运行和业务发展,这套标准体系可是阿里的宝贝,不轻易对外的。

数据技术及产品部门除了产品做的好、数据质量高外,也不是一个封闭固步自封的小团体,他还非常重视数据生态圈建设,以开放、分享、赋能为己任,以开放、分享的心态,将阿里在大数据上沉淀多年的经验和能力,赋予阿里外部千万用户和内部业务,帮助商家、中小创业者、传统企业等共同发展、繁荣,与很多院校建立了联系,部分成果开源社区,让大家来分享大家的成功,如果大家想也建设一套数据中台,可以看一下Dataphin、QuickBI、企业参谋、可视化埋点采集系统,这些都是数据技术及产品部门通过阿里云输出的标准产品,海底捞,飞鹤、南方航空、大润发等一大波企业已经在用了哦!

In addition to the foundation, technology, products, data, standards, and product data technology sector in Taiwan to form a set of data methodology system, OneData data sets is one of the highly summarized, it addresses the high labor cost data developed by the IT department, data error these recurring problem, a waste of resources, disorganized, inefficient and so on, OneData can easily solve, at this point, Xiao Bian said that in fact, outside of big data platform floor hard, in fact, the most difficult to implement is the lack of data OneData Ali's Taiwan ah!

总之,数据技术及产品部门依托于丰富的数据资产和强大的技术能力和对数据分析、挖掘能力,充分应用到实际业务中。通过算法,深度挖掘人群画像等,并沉淀出一系列优质数据,为阿里的业务创新应用提供数据决策基础和依据。为阿里发挥大数据的价值奠定坚实基础。

End: [More detailed data sets official website  https://dp.alibaba.com  ]
Alibaba data table team dedicated output Ali cloud intelligent best practices, help each enterprise to build their own data Taiwan, and then together to achieve smart business in the new era!
Alibaba data desk solution, the core product:
· Dataphin, Alibaba large data OneData core methodology for the kernel drivers, and build a one-stop data management capabilities;
· Quick BI, Alibaba set of data analysis experience precipitation, providing a station data analysis and presentation capabilities;
· Quick Audience, Alibaba set of consumer insight and marketing experience, providing one-stop circling crowd, insight and marketing capabilities - is connected Alibaba business to achieve subscriber growth.

Author: Yi with

Original link: https://yq.aliyun.com/articles/720863?utm_content=g_1000083376

This article Yunqi community original content may not be reproduced without permission.

Guess you like

Origin www.cnblogs.com/bokeyuanxiao/p/11759600.html