解决服务器性能瓶颈

背景
    公司项目组当初对项目开发性能评估不足,统计分析系统服务端与数据库同处一台服务器设备上,数据库中的很多关键数据表数据都由外界多台应用服务器长时间不间断地实时入库产生,平均每分钟有几万笔数据入库,这些数据表企业要求必须最少保存90天数据,日积月累,数据表数据数以千万计,同时入库的这些数据表还是后台定时统计小时及天数据的作业的源表和用户查询实时数据的目标表,极大影响入库、后台统计和查询分析的执行效率,并且很容易产生资源的竞争。运行一年后统计分析系统性能瓶颈日益显现出来,客户十分不满意。

解决方案
    由于数据库与统计分析系统同处一台服务器设备上,数据库负担之重直接影响统计分析系统程序处理性能。在无法扩容硬件资源的情况下尽最大努力优化服务器架构,减少系统资源消耗,提高统计分析系统程序处理性能。
    最大限度地使入库和统计查询分析的数据表不是同一个,并减少单个数据表的容量,采取自动分流存储,优化数据库定时作业:
    1,实时入库的数据以天为单位存储,数据表命名为“原表名+日期”,实时数据入库时自动选择当天数据表,我们就统称源表;
    2,小时数据以月为单位存储,数据表命名为“原小时表名+月份”,后台定时统计作业自动选择当月数据表;
    3,数据库备份和历史数据清理作业计划每周六执行一次;
    4,后台定时统计作业计划每天凌晨1点执行一次;
    5,要求用户使用统计分析系统选择时间范围时不对分钟数据进行跨天查询,不对小时数据进行跨月查询(系统界面有精确到分钟、小时和天数据的查询条件);
    6,要求报表系统只产生昨天或过去数据,不对今天的数据做报表分析;
 

猜你喜欢

转载自artistic.iteye.com/blog/246967