电子商务网站数据处理相关算法

问题:电子商务网站随着时间的增长,数据会越来越多,但是对于一个网站来说,硬件对数据的承载量是一定,对于出现的问题我们应该如何处理

1:增加硬件,通过扩容的方式去解决这些问题(主要从俩个方面,一个应用服务器,一个数据库服务器)

但是具体的方式要通过日志分析,是什么环节出的问题,

如果服务器的并发的问题,增加前端的处理能力(通过集群方式去解决)

如果是数据库的问题

  • 增加内存服务器,减少对数据库的访问
  • 对数据库相关参数调优
  • 数据库的集群

2:删除数据

原因:如果数据量太大的原因,可以考虑删除以下类型的数据

  1. 删除长时间没用用户管理的数据(同类型数在数据库中存在)
  2. 删除有敏感字,违法的信息,或与网站数据类型不符合的数据(比如五金网站有订票的信息)
  3. 删除长时间内点击量偏低的数据(同类型数据必须在数据库中存在)
  4. 删除信息不完整的数据(所发的信息格式不完整,而且长时间没有人维护)

上述信息在删除时,先要时进行逻辑删除,用邮件通知相关用户,如果在一定时间没有回复的,进行物理删除

注:如果以上的信息被搜索引擎已收录,它在通过URL找过来时候找不到数据,这样可能会对网站的权重有影响

所以在删除时的时候,对于(1,3,4)类型的数据做数据关键字段的备份,这样在通过URL找过来时可以通过关键字段找到相关的信息进行展示

3:分表存储

对大数据量的表进行分表,可以按时候,或别的分类法则

主表和副表

原则

4:备份式存储

数据的归档的处理,按不同的标准进行数据的归档

比如果按时间存储,一个年的数据就会归到另一个库中

猜你喜欢

转载自306335604.iteye.com/blog/1162531