pytorch训练过程io性能加速技巧(ubuntu 22.04)

对于用于做深度学习的个人PC,很容易存在的一个问题,即重GPU,而忽略IO性能,导致输出延时过高,显卡吃不饱。这里总结一些小的技巧,帮助提升IO性能。

1. 硬盘性能

ubuntu自带ramdisk应用,默认将内存的一半映射为磁盘,动态使用。

只需将数据复制到 /dev/shm/ 目录,即可有效加速数据加载

复制到此目录不需要权限

调整映射磁盘大小:

# 查看映射盘大小
df -h /dev/shm
# 修改大小
sudo gedit /etc/fstab
tmpfs /dev/shm tmpfs defaults,size=4096M 0 0
# size参数也可以用G作单位:size=1G
# 如果没有这行,可以自己加入并修改size大小
# 重新挂载
umount /dev/shm
mount /dev/shm
# 查看修改后的大小
df -h /dev/shm

2. CPU性能

使用nvidia的dali替换dataset,本部分将在后续更新。

dali中只包含图像解码,而不包含编码部分。而nvjpeg等包中包含编码,期待整合。

猜你喜欢

转载自blog.csdn.net/u011876981/article/details/127409380
今日推荐