程序执行效率优化方法

对于批量处理任务程序,提高处理效率的方案就是分批次、并行处理。

并行处理需要解决的是硬件资源的竞态问题,具体表现为CPU占用100%、内存占用100%和磁盘占用100%,分别对应的是计算密集型、I/O密集型任务。

而提升处理效率的方案就是根据应用情况,分析任务执行时硬件资源的竞态表现,通过均衡并行任务的资源占用情况来解决处理瓶颈。

具体处理方法为:

1 如果多核心处理器,则根据物理核数和逻辑核数确定并行任务数;

2 如果多个磁盘,则根据并行任务均衡分配数据到不同的磁盘中;

3 如果磁盘I/O瓶颈明显,则可以考虑增加SSD或将数据读入内存中来环节磁盘读写瓶颈;

4 通过监测各个物理硬件的资源占用情况,调整批处理应用策略,维持各项资源运行占用在90~95%。

5 如果为多机集群,应设计好共享存储与物理计算/内存资源之间的架构问题,以及任务调度通信带宽的监控。

猜你喜欢

转载自www.cnblogs.com/dadream/p/10528818.html