MyRocks在网易使用和优化实践

主题:MyRocks在网易使用和优化实践

大纲:

1. 企业选择一种新型数据库,从0到1的实践过程中经过哪些阶段会更稳妥
2. MyRocks在网易的应用,会带来哪些优势
3. MyRocks和传统的InnoDB相比,需要配置哪些周边工具
4. 相比INNODB,MyRocks更适用哪些场景
5. MyRocks的高可用方案,王老师更推荐哪种

听说3306π要搞事情了

是啊,马上要搞3306π深圳站了

啊,是吗?哪天啊,在哪里办,怎么报名?

12月19日,就在深圳南山区海岸城,点文末的原文链接或者扫描二维码就可以报名了,一起来吹吹牛逼。

嘉宾自我介绍

王刚  数据库内核工程师 网易杭州研究院数据库内核开发工程师,4年数据库技术开发经验,为网易传媒、音乐等业务提供数据库系统性能、稳定性与可靠性的支撑,擅长 myrocks/innodb 存储引擎,专注数据库及存储领域,喜欢探究底层原理,相信源码之前了无秘密。

01

可否请王老师分享下,企业选择一种新型数据库,从0到1的实践过程中经过哪些阶段会更稳妥呢?

我介绍一下MyRocks 在网易内部从0到1落地的过程,供大家参考。业务需要选择一种新型数据库,通常来说是现有的数据库在某些方面存在痛点了,比如云音乐的实时推荐场景,这是MyRocks落地的一个比较重要的场景。该场景写流量很大,RT 敏感。首先考虑的是LSM 模型的数据库,比如pika,myrocks,hbase。除了满足性能要求之外,稳定性、后续的运维难度、和公司其他组件的兼容程度这几个方面也是需要考虑的。实际性能测试下来MyRocks 性能满足需要,并且属于MySQL生态,运维上手快,DDB(网易内部中间件)以及binlog复制都可以继续使用。基于内核组对MyRocks充分的稳定性测试和异常模拟测试,业务最终选择了MyRocks。

02

请问王老师,MyRocks在网易的应用,会带来哪些优势呢?

节省存储成本是其一大优势,以网易传媒某业务为例,业务之前使用RDS,表中存有longtext类型的字段且数据量较大,RDS最大规格为2T,按数据增长量,已不能满足需求。当时可供于选择的有两种解决方案,分别为MyRocks和DDB(网易内部中间件),由于阿波罗业务数据库使用场景多为等值查询,最终考虑资源及DDB业务还需要在一定程度上变更使用姿势,符合Myrocks大数据量高压缩比及读性能也能满足业务需要,最终选择了Myrocks, 磁盘空间占用由1.8T降至630G,节省了很多存储成本。  

03

MyRocks和传统的InnoDB相比,需要配置哪些周边工具吗?   

在 MySQL 5.7 上适配的MyRocks,目前还缺少物理备份恢复工具,Percona 在 8.0 版本xtrabackup 才支持备份MyRocks。Facebook 5.6 版本提供一个myrocks_hotbackup python 脚本工具,但是这个工具在5.7上使用存在问题,网易内部是在xtrabackup 2.4.8上适配了MyRocks 的备份恢复。

04

MyRocks发展已经比较成熟,相比INNODB,MyRocks更适用哪些场景呢?

MyRocks 在网易内部主要应用在以下场景,供大家参考:

i. 推荐类场景,这类业务通常写流量很大,并且数据量还不小,RT 敏感,用Redis成本太高,这类场景可以考虑使用MyRocks。

ii. 大数据量场景,这类业务通常是一些历史数据,数据量非常大并且增长很快,原来可能用innodb 存储,成本比较高,而且经常需要扩容,运维成本也高,这类场景适合MyRocks。

05

MyMyRocks的高可用方案,王老师更推荐哪种呢?              

MyRocks 其实上层还是 MySQL嘛,因此基于binlog 的异步、半同步复制依然可以继续使用,网易内部还适配了MGR for myrocks ,也可以作为一个方案。

扫码报名

点击文末“阅读原文”链接亦可报名

参与活动

学习新技能

赢取罗小波新书《MySQL复制技术和生产实践》和爱可生精美杯子

活动规则

《年轻人不讲武德?12月19日来3306π深圳站学点真本事》下方留言

写下您对本次活动的建议

或是想向嘉宾提出的问题

有效留言被选中后,点赞数超过30

按点赞数排名取前10名

赠送礼品

二者任选其一

关于「3306π」社区

围绕 MySQL 核心技术,将互联网行业中最重要的数据化解决方案带到传统行业中;囊括其他开源技术RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等;分享干货知识,即便是赞助商,也要求如此,拒绝放水

猜你喜欢

转载自blog.csdn.net/n88Lpo/article/details/110729518
今日推荐