用JAVA如何实现每天1亿条记录的数据存储,数据库方面怎么设计?

一天秒数:60*60*24=86,400

每天写入数据量:100,000,000

平均每秒写入数据量:100,000,000/86,400=1157.5

峰值每秒估算写入数:1157.5*10=11575

因此建议从以下几个层面处理

1、数据库服务器磁盘采用高速SSD磁盘

2、数据库采用2个节点的集群方式部署,每个集群节点3台服务器,12备,主数据库为写数据库,备数据库为读数据,采用读写分离,单集群节点内主备库数据实时同步,集群节点主库数据实时同步

3、数据表设计采用分区、分表方式设计表结构

4、数据写入采用单事务批量写入的方法新增数据

5、在关键字段建立索引,提高查询效率

6、第一次查询后将数据缓存到radis中,方便下次查询

扫描二维码关注公众号,回复: 210222 查看本文章

猜你喜欢

转载自linder.iteye.com/blog/2395949