项目中,需要对30个文件进行读取并处理数据。
想到能不能通过多线程,每个线程处理一部分文件来提高程序效率,实测发现效率反而下降了。
通过查阅资料,发现单个硬盘只能响应一个io,cpu是多核单硬盘不是。
多线程切换时,硬盘去不同的地方读东西会增加耗时。
解决方法:
1、多个硬盘存取
2、换用固态硬盘提升硬盘本身的性能
3、将文件都读到内存,然后多线程处理数据
项目中,需要对30个文件进行读取并处理数据。
想到能不能通过多线程,每个线程处理一部分文件来提高程序效率,实测发现效率反而下降了。
通过查阅资料,发现单个硬盘只能响应一个io,cpu是多核单硬盘不是。
多线程切换时,硬盘去不同的地方读东西会增加耗时。
解决方法:
1、多个硬盘存取
2、换用固态硬盘提升硬盘本身的性能
3、将文件都读到内存,然后多线程处理数据