刚开始从tf转战pytorch,开始记录一下自己遇到的一些坑,不断更新。
2018-9-10
1. one of the variables needed for gradient computation has been modified by an inplace operation
pytorch版本0.4
遇到这个问题之后,百度有以下解决方式:
解决方法一:如果使用的是pytorch0.4.0版本,回退到pytorch0.3.0版本
解决方法二:如果有inreplace参数,设为False
解决方法三:报错原因是pytorch0.4.0版本后tensor不支持inplace操作了,所以把所有inplace错作去掉
我检查之后发现自己的问题在于squeeze的使用。
我在model里面直接使用了x.squeeze_() 导致报错。改为x=x.squeeze()无报错
2.自定义了一个变量,报错:不是叶子节点。
这个报错不是程序报错,而是我检查出来的。使用x.is_leaf 返回None,并且x.grad=None
众所周知,非叶子节点梯度计算完就被清空。
从头检查,,,,,
radius = torch.Tensor([0.1]).requires_grad_().cuda() 这个地方出了问题。。。应该更正如下格式:
radius = torch.Tensor([0.1]).cuda().requires_grad_()
3.自定义变量,有梯度但是不更新
需要将其加入优化器当中。如下格式:
your_variable 为自己定义的变量,脱离model之外
optimizer = optim.Adam([{'params':model.parameters()}, {'params':your_variable}],
lr=opt.lr, weight_decay=opt.weight_decay)