【人工智能概论】 PyTorch固定部分参数实现对指定层参数的训练与遇到的问题

【人工智能概论】 PyTorch固定部分参数实现对指定层参数的训练与遇到的问题

---

一. 问题的描述

• 对模型进行参数加载后，固定部分层的参数，对剩余层进行训练。

二. 代码实现

1. 通过设置条件，实现将满足条件的参数设置为不更新，代码如下

for name, param in model.named_parameters(): # 遍历所有参数块
	if 'fc_offset' not in name: # 设置要求
		param.requires_grad = False  # 对符合要求的参数设置不更新
	# print(name, param.requires_grad)  # 显示所有模型模块，以及梯度情况

2. 用filter过滤参数，防止优化器仍对所有参数进行更新

params = filter(lambda p: p.requires_grad, model.parameters())
optimizer = torch.optim.Adam(params, lr=learning_rate)

• 至此即可

三. 遇到的问题——RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

• 该问题说明loss的梯度被关闭了，即loss的require_grad(False)。
• 这应该是因为如果将最后一层模型参数梯度关闭，则计算出来的loss也没有梯度，不能追踪，所以要将loss的梯度再手动设置为True。
• 如下例：

loss.requires_grad_(True)  
loss.backward()