Perceba a taxa de aprendizado de cosseno com base em PyTorch

1. Bibliotecas que precisam ser usadas

Defina a taxa de aprendizagem e o modelo

import math
import matplotlib.pyplot as plt
import torch.optim as optim
from torchvision.models import resnet18

lr_rate = 0.1
model = resnet18(num_classes=10)

2.LambdaLR 实现 taxa de aprendizagem do cosseno

Configure lambda, otimizador e programador 

lambda1 = lambda epoch: (epoch / 4000) if epoch < 4000 else 0.5 * (math.cos((epoch - 4000)/(100 * 1000 - 4000) * math.pi) + 1)
optimizer = optim.SGD(model.parameters(), lr=lr_rate, momentum=0.9, nesterov=True)
scheduler = optim.lr_scheduler.LambdaLR(optimizer, lr_lambda=lambda1)

3. taxa de aprendizagem 设置

index = 0
x = []
y = []
for epoch in range(100):
    for batch in range(1000):
        x.append(index)
        y.append(optimizer.param_groups[0]['lr'])
        index += 1
        scheduler.step()

4. Visualize a taxa de aprendizagem

plt.figure(figsize=(10, 8), dpi=200)
plt.xlabel('batch stop')
plt.ylabel('learning rate')
plt.plot(x, y, color='r', linewidth=2.0, label='modify data')
plt.legend(loc='upper right')
plt.savefig('result.png')
plt.show()

5. Resultado da alteração da taxa de aprendizagem

Taxa de aprendizagem do TensorBoard 可视 化