【兼容调试】pytorch出现RuntimeError: CUDA out of memory时的一些解决方法

代码方面

  1. 改小batch size
  2. 要适当删除没用的中间变量(虽然效果不大)

    比如:del output

  3. train的时候,累加loss 一定要+=loss.item(),不然会把loss的history也加进去,又占显存了
  4. 同理2,及时detach()

    比如rnn decoder的输出中把上一个时间步的输出作为下一个时间步的输入,那么这个输入完全就可以.detach()

  5. valid or test的时候,一定要with torch.no_grad()
  6. torch.cuda.empty_cache() 清除显存

外部方面
换个大显存的GPU…
当然有这个钱的话就不会有遇到这个error了…
所以
如果不能拓展显存,那么就及时关闭占用显存的软件,因为我刚刚同时开了pr,占了几百M,关了以后明显占用小了300m
然后重启一下pycharm也会结束这个进程 释放一些因为在占用没法完全清楚的显存 (也就大概200m吧)

Nvidia-smi 查看显存占用的情况哈

发布了63 篇原创文章 · 获赞 13 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/changreal/article/details/104272353