揭秘HybridDB助力双十一背后

背景介绍

今年双十一又有新纪录刷新,21秒成交额超10亿,数据瞬间膨胀到PB级,包裹数亿级,严苛的指标对数据库产品提出了更严格的需求。HybridDB作为阿里云自研的HTAP数据库经受住了流量洪峰的考验,顺利的完成了2019年双十一的保障工作。

HybridDB在阿里集团内广泛应用。比如为几十万商家提供数据驱动的店铺智能服务,也为几千小二提供了高效的数据化服务产品,大大提高生产效率。同时盒马实时交易大盘使用HybridDB实现盒马全链路的数据实时闭环,支撑1000多张表的复杂查询,平均查询延迟1秒以内,大大提高了新零售的数据化能力。菜鸟仓储实时在线数仓,基于HybridDB for MySQL构建了容纳核心的订单、包裹、库存及时效等全链路数据,目前已经成长为菜鸟仓储业务的数据化产品基石。HybridDB承接ECS、RDS、CDN、SLB等阿里云核心业务提供实时监控数据的存储、计算服务,支撑了四大件产品双十一实时监控大屏,为阿里云双十一保驾护航。

目前HybridDB for MySQL支持高性能存储规格和高性能计算规格,,融合了在线OLTP和实时OLAP业务,实现了HTAP能力的统一。以视频云相关场景为例,简要介绍,在高吞吐中心场景中的应用,实际业务场景会比本文复杂。

阿里云视频云业务

阿里云视频云典型场景如下:

78f812f37e386a9f3d604a9b8276b82b27b8750e

视频用户的在线类业务,如作业提交、转码工作流控制、推流索引等,直接坐落在HybridDB for MySQL上,实时事务tps高达5万,历史作业数据可保存5年以上;

视频云技术架构的在线实时分析和离线分析类业务,如监控数据采集与实时分析、资源调度、监控告警灯,也采用HybridDB for MySQL解决存储计算问题,实时写入tps高达200万,数据实时可见并支持包括oracle开窗函数等在内的OLAP分析SQL

视频云业务的核心基于CDN技术,CDN是多地分发的内容缓存服务,其本身的性能和稳定性需要强大的监控调度能力来保障,HybridDB存储了CDN集群运转的实时负载状态,以及基于负载状态产生的各类分析结果以供集群的服务状态修正。一般数据库无法承载海量监控数据的存储和计算,大数据生态无法做到实时数据写入实时可见。CDN监控调度借助HybridDB for MySQL每秒百万行数据写入、PB级数据存储、毫秒级在线分析能力,解决十万级服务器的实时监控预警-调度反馈闭环处理问题,保障了阿里云CDN天量数据流量的安全运转。

其他场景持续更新中,敬请期待....

猜你喜欢

转载自yq.aliyun.com/articles/669753