pytorch 优化器调度器

一.优化器调度器概念

优化器调度器(optimizer scheduler)是神经网络训练过程中用来自适应地调整学习率 $\alpha$ 或其他超参数的方法。优化器调度器根据训练过程中的学习率、训练损失、验证损失等指标的变化自动调整超参数，从而使得模型的训练和验证效果更加稳定和高效。

在神经网络训练中，学习率 $\alpha$ 是最重要的超参数之一，它决定了每次参数更新时参数值的变化大小。如果学习率过大，可能会导致梯度