数据持久化层--冷热分离

业务场景

有一个系统的主要功能是这样的:它会对接客户的邮件服务器,自动收取发到几个特定客服邮箱的邮件,每收到一封客服邮件,就自动生成一个工单。之后系统就会根据一些规则将工单分派给不同的客服专员处理。

这家媒体集团客户两年多产生了近2000万的工单,工单的操作记录近1亿。平时客服在工单页面操作时,打开或者刷新工单列表需要10秒钟左右。要求进行优化:
当时的数据情况如下:
1)工单表已经达到3000万条数据。
2)工单表的处理记录表达到1.5亿条数据。
3)工单表每日以10万的数据量在增长。

在客户提出需求之前,项目组已经通过优化表结构、业务代码、索引、SQL语句等办法来提高系统响应速度,系统最终支撑起了3000万数据的表查询。这次只能尝试其他方案。

冷热分离一期实现思路:冷热数据都用MySQL

在这里插入图片描述

当决定用冷热分离之后,项目组就开始考虑使用一个性价比最高的冷热分离方案。因为资源有限、工期又短,冷热分离一期有一个主导原则,即热数据跟冷数据使用一样的存储(MySQL)和数据结构,这样工作量最少,等到以后有时间再做冷热分离二期。

需要考虑的问题
1)如何判断一个数据是冷数据还是热数据?
2)如何触发冷热数据分离?
3)如何实现冷热数据分离?
4)如何使用冷热数据?

猜你喜欢

转载自blog.csdn.net/qq_21040559/article/details/129477091