Paddle：加载预训练权重以及固定部分权重微调

1：加载预训练权重

通过load 和 set_state_dict 函数接口调用实现

# save
paddle.save(net.state_dict(), "old_net.pdparams")
paddle.save(opt.state_dict(), "old_opt.pdopt")

# load
state_dict_net = paddle.load("old_net.pdparams")
state_dict_opt = paddle.load("old_opt.pdopt")

# match
new_net.set_state_dict(state_dict_net)
new_opt.set_state_dict(state_dict_opt)

注意：

1：如果网络结构不完全一致：Paddle会自动跳过不一致的layer

2：固定权重进行微调

通过设置stop_gradient=True进行实现，比pytorch便捷一些

举例1：

对于固定网络层：如： stage1→ stage2 → stage3 ，设置 stage2 的输出，假设为y，设置 y.stop_gradient=True，那么， stage1→ stage2 整体都固定了，不再更新。

举例2：

扫描二维码关注公众号，回复： 16927097 查看本文章

cls0-cls9是网络的10个输出分支，只微调第7个分支权重

3：验证权重固定是否生效

通过named_parameters来查看，与pytorch基本类似

举例1：

for item in net.named_parameters():
    if item[0] == 'cls0.0.bias':
        print("####", item[0], item[1][0])
    if item[0] == 'cls6.0.bias':
        print("!!!!", item[0], item[1][0])

参考：

1：参数调整常见问题-使用文档-PaddlePaddle深度学习平台