全梯度下降算法、随机梯度下降算法、小批量梯度下降算法、随机平均梯度下降算法、梯度下降算法总结

$\theta=\theta-\eta \cdot \nabla_{\theta} J(\theta)$

由于FGD每迭代更新一次权重都需要计算所有样本误差，而实际问题中经常有上亿的训练样本，故效率偏低，且容易陷入局部最优解，因此提出了随机梯度下降算法

其每轮计算的目标函数不再是全体样本误差，而仅是单个样本误差，即每次只代入计算一个样本目标函数的梯度来更新权重，再取下一个样本重复此过程，直到损失函数值停止下降或损失函数值小于某个可以容忍的阈值

此过程简单，高效，通常可以较好地避免更新迭代收敛到局部最优解，其迭代形式为

$\theta=\theta-\eta \cdot \nabla_{\theta} J\left(\theta ; x^{(i)} ; y^{(i)}\right)$

每次只使用一个样本迭代，若遇上噪声则容易陷入局部最优解

其中， $x^{(i)}$ 表示一条训练样本的特征值， $y^{(i)}$ 表示一条训练样本的标签值

小批量梯度下降算法是FGD和SGD的折中方案，在一定程度上兼顾了以上两种方法的优点

$\theta=\theta-\eta \cdot \nabla_{\theta} J\left(\theta ; x^{(i: i+n)} ; y^{(i: i+n)}\right)$

在SGD方法中，虽然避开了运算成本大的问题，但对于大数据训练而言，SGD效果常不尽如人意，因为每一轮梯度更新都完全与上一轮的数据和梯度无关

随机平均梯度算法克服了这个问题，在内存中为每一个样本都维护一个旧的梯度，随机选择第i个样本来更新此样本的梯度，其他样本的梯度保持不变，然后求得所有梯度的平均值，进而更新了参数

如此，每一轮更新仅需计算一个样本的梯度，计算成本等同于SGD，但收敛速度快得多

FGD方法由于它每轮更新都要使用全体数据集，故花费的时间成本最多，内存存储最大
SAGD在训练初期表现不佳，优化速度较慢。这是因为我们常将初始梯度设为0，而SAGD每轮梯度更新都结合了上一轮梯度值
综合考虑迭代次数和运行时间，SGD表现性能都很好，能在训练初期快速摆脱初始梯度值，快速将平均损失函数降到很低。但要注意，在使用SGD方法时要慎重选择步长，否则容易错过最优解
mini-batch结合了SGD的“胆大”和FGD的“心细”，它的表现也正好居于SGD和FGD二者之间。在目前的机器学习领域，mini-batch是使用最多的梯度下降算法，正是因为它避开了FGD运算效率低成本大和SGD收敛效果不稳定的缺点

以下算法主要用于深度学习优化

动量法：其实动量法(SGD with monentum)就是SAGD的姐妹版，SAGD是对过去K次的梯度求平均值，SGD with monentum 是对过去所有的梯度求加权平均
Nesterov加速梯度下降法：类似于一个智能球，在重新遇到斜率上升时候，能够知道减速
Adagrad：让学习率使用参数，对于出现次数较少的特征，我们对其采用更大的学习率，对于出现次数较多的特征，我们对其采用较小的学习率
Adadelta：Adadelta是Adagrad的一种扩展算法，以处理Adagrad学习速率单调递减的问题
RMSProp：其结合了梯度平方的指数移动平均数来调节学习率的变化，能够在不稳定（Non-Stationary）的目标函数情况下进行很好地收敛
Adam：结合AdaGrad和RMSProp两种优化算法的优点，是一种自适应的学习率算法