在训练过程中跑验证集导致显存out of memory问题。

---

前言

在训练模型时，笔者想要每训练一个epoch，记录一下val的准确率，但是每当训练完第一个epoch开始准备跑val数据集的时候，就会出现显存double然后溢出的情况（batch_size在验证和训练时设置相同）。此处将复现笔者出现的问题，并给出解决方案。

正文

原始训练流程：

for eopch in epochs:
	for data,label in train_dataloader：
		model.train()
		train(model,data,label)
	model.eval()
	val(model,test_dataloader)
	#会在执行val的时候显存double,然后out of memory。

改进后训练流程：

for eopch in epochs:
	for data,label in train_dataloader：
		model.train()
		train(model,data,label)
	model.eval()
	with torch.no_grad():
		val(model,test_dataloader)

此时显存不再溢出。

总结

在模型验证时，仍计算梯度，导致模型显存溢出。加上with torch.no_grad():问题解决。