pytorch冻结网络参数，requires_grad与optimizer顺序的关系

问题说明：

pytorch迁移学习时，需要对某些层冻结参数，不参与方向传播，具体实现是将要冻结的参数的requires_grad属性置为false，然后在优化器初始化时将参数组进行筛选，只加入requires_grad为True的参数，代码示例如下：

cnn = CNN() #构建网络

for n,p in cnn.named_parameters():
    print(n,p.requires_grad)
    if n=="conv1.0.weight":
        p.requires_grad = False

optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad,cnn.parameters()), lr=learning_rate)

但是如果把requires_grad属性置为false这个操作放在optimizer之后，会不会有影响，这个指定层的参数会不会被冻结呢？代码示例如下：

cnn = CNN() #构建网络

optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad,cnn.parameters()), lr=learning_rate)

for n,p in cnn.named_parameters():
    print(n,p.requires_grad)
    if n=="conv1.0.weight":
        p.requires_grad = False

经过打印每次迭代后参数组中的参数值，可以得出结论：

1、把requires_grad属性置为false的操作放在optimizer初始化之后，也可以达到参数被冻结的效果（该指定要冻结的层的参数完全没变化）

2、区别在于，先进行requires_grad属性置为false的操作，再optimizer初始化，不会将该层的参数放进优化器中更新，而先进行optimizer初始化，再进行requires_grad属性置为false的操作，会将所有的参数放进优化器中，但不更新该指定层参数，只更新剩下的参数。对比看来，optimizer中的参数量会相比前者会更大一点。