训练神经网络时,batchsize的设置方法,以达到GPU算力的充分利用

先在窗口转路径 cd C:\Program Files\NVIDIA Corporation\NVSMI   然后输入指令nvidia -smi 就会显示图右侧的信息框,那里可以看到显卡总显存和正在占用的显存数值。

此外,更直接的方法就是到任务管理器 -> 性能 -> GPU0 -> 专用GPU内存,就可以看到总显存及实时占用显存。

注:batchsize大小与网络复杂程度负相关,也即不同网络在相同batchsize下会占用的显存数量是不同的。

如图:以我跑的mtcnn为例。跑O网络,batchsize=2000时就占用了10G的显存(我2080ti总共11G显存);但跑R网络部分,batchsize=10000时才占用不到10G的显存。所以,根据占用的情况逐渐增加批次,直到充分利用了显存就好了。

猜你喜欢

转载自blog.csdn.net/qq_39938666/article/details/86614344
今日推荐