日新增 40 PB 数据背后,字节跳动是如何探索云数据库技术的?丨字节跳动技术沙龙

数据库技术一直是 IT 信息技术中极其重要的一环,在步入云原生时代以后,分布式数据库系统获得了令人振奋的发展,云基础设施和数据库进一步整合,弥补了传统数据库的痛点,带来了高可扩展性、全面自动化、快速部署、节约成本、管理便捷等优势。

字节跳动的核心技术理念是数据驱动敏捷开发,截至 2021 年 12 月 2 日,字节跳动数据仓库数据总量已经达到 9500 PB 的规模,每天新增 40 PB 数据,指标数超过 27000 个。在这样的海量数据规模下,要求数据平台具有很高的数据准确性、一致性和稳定性。

业务种类繁多;数据存量太多,成本居高不下;业务增速快,诉求不断变化的挑战,对字节数据库底层技术能力带来了更高的要求。如何设计一个面向未来的、云原生化的数据库系统?字节自研的数据库有何不同之处?未来云数据库的发展方向又在哪里?这是本期《字节云数据库架构设计与实战》技术沙龙将要分享的核心问题。

本期字节跳动技术沙龙免费报名通道现已开启,戳这里即可报名

演讲主题

字节跳动数据库的过去、现状与未来

内容简介

讲解字节跳动数据库的发展历程,介绍字节数据库产品矩阵;剖析数据库演进过程中的多项驱动因素,展望未来数据库产品、技术体系。

观众收益

  1. 了解字节跳动数据库发展的过程;
  2. 了解字节跳动数据库产品矩阵的特点;
  3. 了解发展过程中主要的产品、技术驱动力因素。

演讲嘉宾

张雷 字节跳动基础架构数据库资深工程师

2019 年加入字节跳动,拥有 10 多年的数据库存储研发经验,目前负责基础架构数据库(RDS、veDB、ByteDoc 等)、对象存储 TOS、大数据存储 HDFS 等产品的研发和运营运维工作。

从单机到分布式数据库存储系统的演进

内容简介

在传统的数据库产品里,目前单机数据库仍是主力,但随着用户数据量和数据库访问压力暴增,传统的单机数据库日渐乏力。在字节跳动探索分布式数据库的过程中,存储系统自然也面临从单机到分布式的演进。本次演讲会给大家解析字节自研数据库背后的分布式存储系统,分享大型数据库存储系统的演进和实践经验。

观众收益

  1. 了解通用的数据库存储模型;
  2. 了解字节自研分布式存储的架构和技术;
  3. 了解分布式存储如何服务分布式数据库。

演讲嘉宾

马浩翔 字节跳动基础架构数据库开发工程师

毕业于美国 Northeastern University,毕业后加入字节跳动基础架构团队,担任数据库开发工程师。他主要关注分布式数据库、高性能计算和存储技术。在加入字节跳动后,持续参与云原生分布式数据库开发,负责高性能存储组件和数据库领域前沿技术探索。

veDB (for MySQL) 的计算引擎实践及挑战

内容简介

veDB (for MySQL) 是一款分布式数据库,采用了云原生计算存储分离架构,完全兼容 MySQL 8.0,目前该产品已在字节内部大量上线,并即将亮相火山引擎公测。本次演讲会给大家介绍这款分布式数据产品计算引擎构建的过程,面临的典型技术问题及解决方案,最后还会谈一谈产品未来的一些发展方向。

观众收益

  1. 了解计算存储分离架构;
  2. 了解计算存储分离架构下,分布式数据库构建面临的一些技术问题;
  3. 了解字节典型业务对于分布式数据库的诉求以及对应解决方案。

演讲嘉宾

聂愿愿 字节跳动基础架构数据库开发工程师

毕业于武汉华中科技大学,有 10 余年的数据库内核开发经历,曾供职于 IBM/Teradata/华为,2019 年加入字节跳动基础架构团队,目前负责 veDB (for MySQL) 技术方向及所在团队。主要关注分布式数据库、分布式存储技术方向。加入字节跳动后,从无到有参与构建了 veDB (for MySQL) 产品,并已在字节内部大量上线应用。

字节云数据库未来发展方向的探索与实践

内容简介

互联网数据存储的信息量爆发式增长和新硬件技术 AEP+RDMA 的大规模商用给云数据库发展带来了新的机遇和挑战。本次演讲将介绍字节内部数据库系统在未来发展方向的探索和实践。包括 multi-master 架构、HTAP 系统的发展与演进以及新硬件 AEP+RDMA 在数据库系统上的使用探索,以及未来产品方向。

观众收益

  1. 了解字节云数据库系统未来几个发展方向;
  2. 了解字节云数据库从单写到 multi-master 架构的演进;
  3. 了解 AEP+RDMA 新硬件在数据库方向的使用方式;
  4. 了解如何通过 HTAP 数据库构建一站式数据平台。

演讲嘉宾

刘辉聪 字节跳动基础架构数据库开发工程师

毕业于中国科学院计算技术研究所,曾供职于百度,一直从事分布式数据库研发工作。2019 年加入字节跳动基础架构团队,担任数据库开发工程师。主要关注分布式数据库、分布式存储技术方向。加入字节跳动后,参与构建了 veDB (for MySQL) 产品,负责计算引擎相关的研发工作。

免费报名

掘金号发-字跳技术团队-海报.png

沙龙介绍

字节跳动技术沙龙,是由字节跳动技术社区 ByteTech 发起的,面向全行业开发者的技术交流活动。通过搭建一个包容、开放、自由的交流平台,促进前沿技术的普及与落地,帮助技术团队和开发者快速成长。字节跳动技术沙龙的技术分享来源于字节跳动一线技术专家,针对热点技术方向和实践总结,为技术团队和开发者呈现一场场可供参考的技术盛宴。

免费报名链接

www.bagevent.com/event/80497…

Guess you like

Origin juejin.im/post/7068583680733610014
40