pytorch基础部分笔记

 梯度下降，学习速率是缩放梯度下降的尺标，是参数优化方法
 学习速率调整原则，使其足够小不至于发生超调：损失函数底部来回震荡。
 反向传播算法：梯度是反向传播的，每一层的导数都是后一层导数与前一层输出之积，这正是链式法则
 loss.backward() 直接实现反向传播
 优化函数：optimizer SGD 和min_batch 抽取m个小批量的样本，通过计算他们的平均梯度值。
 RMSprop：有效且使用的深度学习算法，会读kr进行衰减。
 Adam：动量优化，也会对学习速率进行衰减。对超参数的选择相当的鲁棒

数据输入方式：
从ndarry创建Tensor直接切片输入
使用torch.utils.data.TensorDataset 创建dataset
使用torchvison的内置数据集
使用torch.utils.data.dataLoader封装，实际就是一个生成器。
模型训练的步骤：
1.预处理数据
2.创建模型和优化方法
3. 模型的调用
4.计算损失
5.梯度归零
6.计算梯度
7.优化模型
8.打印指标

回归问题：是没有激活的
二分类问题：BCEloss 输出层激活方式：sigmoid
多分类问题： CrossENtropyLoss 输出层激活方式：无 ，二分类的问题也可以看成特殊的多分类问题
损失函数：nn.NULLLoss 要求labels 必须是独热编码方式
输出层的激活方式 torch。log_softmax