pytorch参数初始化方法

参数的初始化其实就是对参数赋值。

所以我们可以进行如下操作进行初始化,当然其实有其他的方法,但是这种方法是PyTorch作者所推崇的:

import torch.nn.init as init import的语句
def weights_init_classifier(m):
    classname = m.__class__.__name__#得到网络层次的名字,如Convtransposed2d
    if classname.find('Linear') != -1:#使用了find函数,如果不存在返回值为-1,所以让其不等于-1
        # init.normal(m.weight.data, std=0.001
        init.xavier_normal(m.weight.data, std=0.001)
        init.constant(m.bias.data, 0.0)

apply(fn):将fn函数递归地应用到网络模型的每个子模型中,主要用在参数的初始化。

使用apply()时,需要先定义一个参数初始化的函数。

model=net()

model.apply(weight_init)

猜你喜欢

转载自blog.csdn.net/zouxiaolv/article/details/83006797