《深度学习工程师-吴恩达》02改善深层神经网络--优化算法 学习笔记
1.重点归纳
1）Mini-batch梯度下降法
（1）把训练集划分为多个子集，每个子集为一个mini-batch，使用每个mini-batch的数据进行训练，每次只需要处理一个mini-batch的训练集就能进行一步梯度下降法。
（2）mini-batch梯度下降法比batch梯度下降法运行更快。
（3）在mini-batch梯度下降法中，每次迭代都在不同的训练集上进行，并不是每次迭代中损失函数都会下降，总体方向是向下的，但是会有更多的噪音。
（4）mini-batch大小取值[1, m]之间，一般为[64, 512]之间（2的n次方的数值）。
2）指数加权平均法
（1）
- vt可认为是1/(1-β)的每日的预测数值，较大β值得到的曲线平坦一些，由于多平均了几天的历史数值，缺点是曲线进一步右移，预测值适应会更缓慢一点，出现一些延迟。
- 如β=0.9，这是10天的平均值
- 展开的公式可以知道vt是由vt-1至v0的所有值组成，并且权重随着时间的远离呈指数衰减
（2）修正
- 修正原因：在计算指数移动平均时，初始值为0，导致开始那几天估测不准（远低于实际值）
- 修正公式：
- 随着t的增加，βt将接近0，当t很大时，偏差修正几乎没有作用
- 偏差修正可以更好预测温度
3）动量梯度下降法（Momentum）：把加权指数移动平均法融合到梯度下降法中，可以加速梯度下降
（1）公式
（2）公式中梯度（积分项dw/db）相当于加速度，momentum项（Vdw/Vdb）相当于速度，梯度下降过程加速度负责改变梯度下降的方向，原有速度提供了惯性，使得速度比较大的方向的梯度改变慢下来。
（3）β一般取值0.9，平均了前十次的梯度，一般可以取得不错的效果。
4）RMSprop梯度下降法，可以加速梯度下降
（1）公式
（2）当导数越大（坡度越陡，如上图的db），权重变化就越小；反之当导数越小时，权重变化越大。可以消除梯度下降中的摆动，因此我们可以使用更大的学习率α，而无须在纵轴上垂直方向偏离。
5）Adam优化算法：将Momentum和RMSprop结合在一起
（1）公式
（2）这是一种极其常用的学习算法，被证明适用于不同的神经网络，适用于广泛的结构
6）学习率衰减：加速学习速度的另一个方法就是随时间慢慢减少学习率—学习率衰减，在学习的初期使用较大的步伐，当开始收敛的时候，小一些的学习率能让步伐小一些。
2.Mini-batch梯度下降法
1）对整个数据集执行梯度下降法时，必须处理整个训练集才能进行一步梯度下降法，将会花费大量时间来进行计算。
2）mini-batch梯度下降法
（1）把训练集划分为多个子集，每个子集为一个mini-batch
（2）使用每个mini-batch的数据进行训练，每次只需要处理一个mini-batch的训练集就能进行一步梯度下降法
3）mini-batch梯度下降法比batch梯度下降法运行更快
3.理解Mini-batch梯度下降法
1）迭代训练时损失函数的变化
（1）在batch梯度下降法中，每次迭代都需要遍历整个训练集，预期每次迭代的损失函数都会下降。
（2）在mini-batch梯度下降法中，每次迭代都在不同的训练集上进行，并不是每次迭代中损失函数都会下降，总体方向是向下的，但是会有更多的噪音。
噪音的原因在于，也许某mini-batch比较容易计算mini-batch，但是某些mini-batch比较难计算，所以才会出现这些摆动。
2）mini-batch大小三种情况
（1）极端情况下，当mini-batch大小等于总训练样本m时，相当于batch梯度下降法
- 如果样本量很大，缺陷在于每次梯度下降的计算时间很长；
- 如果样本不是很大，batch梯度下降会运行得很好。
（2）另一种极端情况，当mini-batch等于1时，相当于随机梯度下降法
- 随机梯度下降法永远不会收敛，而是会一直在最小值附近波动。
- 需要设置比较小的学习率，噪声会有所减少
- 不能进行向量化计算带来的加速，一次处理一个样本的效率过于低下
（3）mini-batch大小取值[1, m]之间
- 实际应用中应该选取不大不小的mini-batch大小，实际上的学习率达到最快
- 得到了大量向量化
- 不需要等待太久就可以开始后续的训练
3）mini-batch大小选择
（1）如果训练样本较小，mini-batch大小选择整个训练集大小，直接使用batch梯度下降法
- 例如说小于2000个样本
（2）如果训练样本较大，mini-batch大小一般为[64, 512]之间
- 考虑到电脑内存设置和使用方式，一般为2的n次方的数值（64, 128, 256, 512），代码运行快一些。
- 也有mini-batch大小为1024，不过比较少见
- mini-batch的特征和类大小要符合CPU/GPU内存，否则算法表现急转直下
4.指数加权平均（指数加权移动平均）
1）局部平均值/移动平均值
（1）
（2）vt可认为是1/(1-β)的每日温度
- β=0.9，这是10天的平均值，如下图红线
- β=0.98，这是50天的平均值，如下图绿线
- 较大β值得到的曲线平坦一些，由于多平均了几天的温度，缺点是曲线进一步右移，温度适应会更缓慢一点，出现一些延迟。
- 给前一天的值更多的权重，只有0.02的权重给了当日的值
- β=0.5，这是2天的平均值，如下图黄线
- 平均的数据更少，所以得到曲线有更多的噪声
- 更快适应温度变化
5.理解指数加权平均
1）从下面展开的公式可以知道vt是由vt-1至v0的所有值组成，并且权重随着时间的远离呈指数衰减
6.指数加权平均的偏差修正
1）在计算指数移动平均时，初始值为0，导致开始那几天估测不准（远低于实际值）
2）对结果进行修正：
- 随着t的增加，βt将接近0，当t很大时，偏差修正几乎没有作用
- 偏差修正可以更好预测温度
3）在计算指数移动平均时，大家不在乎执行偏差修正，因为大部分人宁愿熬过初始时期，拿到有偏差的估测然后继续计算下去。
7.动量梯度下降法（Momentum）
1）Momentum几乎总是比标准的梯度下降算法运行速度要快
梯度下降法求解过程不懂摆动，最后才慢慢摆动到最小值，这种上下摆动减慢了梯度下降法的速度，所以无法使用更大的学习率。如果使用更大的学习率，可能会偏离函数的范围。
2）momentum把加权指数移动平均法融合到梯度下降法中
（1）公式
（2）权重更新更新过程中上下摆动，平均值接近零。加入了历史的动量参数后，平均过程中正负数相互抵消，所以平均值接近零，所以上下摆动的方向变得很小，但是其它方向依然可以快速梯度下降。
（3）momentum梯度下降法迭代几次后最终摆动变小，横轴方向（假设往横轴方向下降）运动更快，在抵达最小值的路上减少了摆动。
（4）公式中梯度（积分项dw/db）相当于加速度，momentum项（Vdw/Vdb）相当于速度，梯度下降过程加速度负责改变梯度下降的方向，原有速度提供了惯性，使得速度比较大的方向的梯度改变慢下来。
（5）β一般取值0.9，平均了前十次的梯度，一般可以取得不错的效果。
（6）也可以添加偏差修正，但是一般不需要添加，因为10次迭代之后移动平均就过了初始阶段，就不再需要修正。
（7）有些资料中会把积分项的(1-β)去除，Vdw=βVdw+dw, Vdb=βVdb+db，相当于动量部分乘以了1/(1-β)，在计算权重w和b时α要根据1/(1-β)作相应变化。两者是等价的，只是会影响学习率α的最佳值。
8.RMSProp(root mean square prop)
1）RMSProp也可以加速梯度下降
2）原理
（1）公式
（2）当导数越大（坡度越陡，如上图的db），权重变化就越小；反之当导数越小时，权重变化越大。因此我们可以使用更大的学习率α，而无须在纵轴上垂直方向偏离。
3）Momentum类似都可以消除梯度下降中的摆动
9.Adam（Adaptive Moment Estimation）优化算法
1）Momentum算法和RMSProp算法是少有的经受住考验的两种优化算法，适用于不同的深度学习结构。
2）Adam优化算法基本上就是将Momentum和RMSprop结合在一起
（1）公式
（2）这是一种极其常用的学习算法，被证明适用于不同的神经网络，适用于广泛的结构
（3）超参数
- 学习率α需要尝试不同的值来看哪个更好
- β1常用的缺省值为0.9
- β2 Adam作者建议0.999
- ε的选择没那么重要，Adam作者建议使用10-8，并不需要设置它，它并不会影响算法表现
10.学习率衰减
1）加速学习速度的另一个方法就是随时间慢慢减少学习率—学习率衰减，在学习的初期使用较大的步伐，当开始收敛的时候，小一些的学习率能让步伐小一些。
2）方法一：
（1）其中一种公式：
（2）学习率呈递减趋势
（3）需要超时不同的超参数α0和decay-rate找到合适的值
3）方法二（指数衰减）：
4）方法三：
5）方法四：离散下降的学习率，也就是某个步骤有某个学习率，学习率每个步骤都变成前一步骤的一半
11.局部最优的问题
1）局部最优点
2）通常梯度为零的点并不是上图中的局部最优点，实际上成本函数的零梯度点通常是鞍点（如下图）。
3）一个具有高维度空间的函数，如果梯度为零，那么在每个方向它可能是凸函数，也可能是凹函数。有些维度方向向下，有些向上，同时向下的可能性比较小，所以在高维空间更可能碰到鞍点。
（1）首先你不太可能困在极差的局部最优中
（2）平稳段使得学习是否缓慢，像Momentum和RMSprop这样的算法能够假设学习。更成熟的算法是像Adam这样的算法能够加快速度，让你尽快往下走出平稳段。