对于用于做深度学习的个人PC,很容易存在的一个问题,即重GPU,而忽略IO性能,导致输出延时过高,显卡吃不饱。这里总结一些小的技巧,帮助提升IO性能。
1. 硬盘性能
ubuntu自带ramdisk应用,默认将内存的一半映射为磁盘,动态使用。
只需将数据复制到 /dev/shm/ 目录,即可有效加速数据加载
复制到此目录不需要权限
调整映射磁盘大小:
# 查看映射盘大小
df -h /dev/shm
# 修改大小
sudo gedit /etc/fstab
tmpfs /dev/shm tmpfs defaults,size=4096M 0 0
# size参数也可以用G作单位:size=1G
# 如果没有这行,可以自己加入并修改size大小
# 重新挂载
umount /dev/shm
mount /dev/shm
# 查看修改后的大小
df -h /dev/shm
2. CPU性能
使用nvidia的dali替换dataset,本部分将在后续更新。
dali中只包含图像解码,而不包含编码部分。而nvjpeg等包中包含编码,期待整合。