文章目录
关于云服务器上pytorch固定随机种子无法复现结果的问题
当我在自己的笔记本电脑上的时候,用py文件写的代码,用:
import numpy
import torch
import random
seed = 666
random.seed(seed)
numpy.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
os.environ['PYTHONHASHSEED'] = str(seed)
这样的代码,就能保证结果可复现了。
但是当在ipynb文件里的时候,好像还是没法固定,每次跑出来结果还是不一样,当时就很懵,不知道啥原因,但是问题不大,用py文件就行了。
然后最近在云服务器上用.py跑的时候,神奇的事情发生了,用了上面代码固定随机种子,第一个epoch的结果可以完全复现,然后莫名其妙开始飘了,导致后面的epoch结果都不一样了,固定不住啊。
后来搜索了一下发现,较新版本的pytorch有自动检测是否可复现的功能,就是说如果你的代码结果是不可复现的他就会报错,并且提示你要怎么该才能让他可以复现,简而言之就是加上:
torch.use_deterministic_algorithms(True)
然后你运行,就可以知道你的结果是否可以复现了。
然后我在服务器上试了一下,果然报错了,然后照着报错加了一行:
os.environ['CUBLAS_WORKSPACE_CONFIG']=':4096:8'
好了,至此结果完全可以复现,不会乱飘了。
所以我用到的完整代码如下:
import numpy
import torch
import random
seed = 666
random.seed(seed)
numpy.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
os.environ['PYTHONHASHSEED'] = str(seed)
os.environ['CUBLAS_WORKSPACE_CONFIG']=':4096:8'
torch.use_deterministic_algorithms(True)