【人工智能概论】 optimizer.param_groups简介
一. optimizer.param_groups究竟是什么
optimizer.param_groups
: 是一个list,其中的元素为字典;
optimizer.param_groups[0]
:是一个字典,一般包括[‘params’, ‘lr’, ‘betas’, ‘eps’, ‘weight_decay’, ‘amsgrad’, ‘maximize’]等参数(不同的优化器包含的可能略有不同,而且还可以额外人为添加键值对);
- 举例展示:
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
optimizer1 = torch.optim.Adam(model.parameters(), lr=0.1)
print(optimizer.param_groups[0].keys())
print(optimizer1.param_groups[0].keys())
- 不同键有不同的含义,还是要具体分析为好。
- 通过修改其中的值,可以实现对优化器更为灵活的控制,优化器的其他参数就好比默认服务,而它所控制的就好比私人订制,且具有更高的优先级。
二. 实际应用——给不同层匹配不同的学习率
import torch
class Resnet(torch.nn.Module):
def __init__(self):
super(Resnet, self).__init__()
self.block1 = torch.nn.Sequential(
torch.nn.Conv2d(1, 10, 5),
torch.nn.MaxPool2d(2),
torch.nn.ReLU(True),
torch.nn.BatchNorm2d(10),
)
self.block2 = torch.nn.Sequential(
torch.nn.Conv2d(10, 20, 5),
torch.nn.MaxPool2d(2),
torch.nn.ReLU(True),
torch.nn.BatchNorm2d(20),
)
self.fc = torch.nn.Sequential(
torch.nn.Flatten(),
torch.nn.Linear(320, 10)
)
def forward(self, x):
x = self.block1(x)
x = self.block2(x)
x = self.fc(x)
return x
model = Resnet()
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.5)
params = [
{
"params":model.block1.parameters()},
{
"params":model.block2.parameters(),"lr":0.08},
]
optimizer = torch.optim.SGD(params, lr=0.1,)
start_lr = [0.1, 0.08, 0.09]
def adjust_learning_rate(optimizer, epoch, start_lr):
for index, param_group in enumerate(optimizer.param_groups):
lr = start_lr[index] * (0.9 ** (epoch // 1))
param_group['lr'] = lr
三. 用add_param_group方法给param_group添加内容:
optimizer.add_param_group({
"params":model.fc.parameters(),"lr":0.09})