被热议的DataOps该如何落地?终于有人能讲明白了

DataOps的概念自首次被提出至今已有8年,并在2018年被Gartner纳入数据管理技术成熟度曲线。从实施上看,当下DataOps仍处在发展初期,鲜少企业或团队能据此真正沉淀一套方法论或技术产品的体系。不过,随着越来越多的企业开启DataOps实践,相信令人“雾里看花”的DataOps方法体系也会逐渐明朗起来。

趣丸科技就是其中的探索者,本期「UGeek大咖说」将邀请趣丸科技的资深架构师林嘉俊做客直播间,为大家带来《趣丸科技 DataOps 的演进与实践》的主题分享,届时将深度解析趣丸科技DataOps探索之路上的难点、挑战以及企业级的解决方案。

7月27日晚20:00

锁定优维线上直播间

「DataOps专场」

一探趣丸科技DataOps进化之路!

 01嘉宾介绍

 林嘉俊

广州趣丸网络科技有限公司(架构师)

个人简介:

广州趣丸网络科技有限公司架构师,负责趣丸科技数据部一站式数据开发平台。擅长数据治理和数据建模,5年以上公安行业数据治理经验,参与过十多个省和地市公安大数据基础平台和警务大数据应用平台的建设,先后完成了数据治理平台、可视化分析建模平台、家族图谱、关系图谱、智能云搜、全息档案等产品从零到1的设计和研发。目前主要工作是整合趣丸科技数据开发工具,建设一站式数据开发平台。

02主题介绍

演讲主题:《趣丸科技 DataOps 的演进与实践》

主题简介:

DataOps作为数据管理领域的工程文化和实践而兴起,其目的是降低数据用户对于数据理解、使用、研发分析的门槛,通过自动化的手段来保障数据发现,集成,建模,分析,应用整个数据管道的流畅,以实现数据价值的持续交付。最终实现数据普惠,数据平民化,人人都是数据价值的潜在贡献者。

趣丸科技大数据体系经历了近4年的迭代发展,数据涵盖国内外的十几个业务APP、财务数据、运营数据及第三方服务厂商数据,目前已达到PB级数据规模。通过典型场景的不断打磨,融合数据分析、产品运营、数据研发多方的需求,逐步形成包含离线数仓、推荐算法、模糊归因、精准归因、实时数仓、数据分析等大数据服务和AI服务的大数据平台。在现有数据架构与研发管理基础上,如何适配这臻于成熟的大数据平台,探索出具有趣丸科技特色的DataOps 建设之路是我们面临的最大挑战。

03亮点介绍

1. 认识趣丸科技

2. 趣丸科技 DataOps 实践过程面临的挑战

  • 数据接入低效
  • 数据质量差
  • 数据开发效率低

3. 趣丸科技 DataOps 演进历程

  • DataOps 1.0,埋点规范化&标准化,统一数据上报标准,提高数据质量、降低数据清洗难度
  • DataOps 2.0,提供一站式数据研发解决方案,形成端到端全流程研发闭环能力,涵盖从数据理解、数据接入、数据开发到数据服务的数据研发全生命周期

4. 未来展望

  • 加强数据可视化能力,构建一站式数据分析平台
  • 深化云原生混部技术,探索云原生混部在不同应用场景的降本增效
  • 落地 DataOps 数据研发流水线,打造敏捷数据研发体系

04观众收益

  1. 了解趣丸科技 DataOps 面临的挑战、难点及企业级解决方案
  2. 了解数据准入标准的制定过程及成效
  3. 了解端到端全流程研发闭环体系的建设过程及成效

猜你喜欢

转载自blog.csdn.net/EasyOps_DevOps/article/details/131857036