一、EMA 简介

这里写图片描述

$v_t = \beta v_{t-1} + (1 - \beta)\theta_{t}$ ，公式中 $\theta_{t}$ 为 t 时刻的实际温度；系数 $\beta$ 表示加权下降的快慢，值越小权重下降的越快； $v_t$ 为 t 时刻 EMA 的值。
当 $v_0 = 0$ 时，可得： $v_t = (1-\beta) (\theta_{t}+\beta\theta_{t-1}+\beta^{2}\theta_{t-2}+ ... +\beta^{t-1}\theta_{1})$ ，从公式中可以看到：每天温度( $\theta$ )的权重系数以指数等比形式缩小，时间越靠近当前时刻的数据加权影响力越大。
在优化算法中，我们一般取 $\beta >= 0.9$ ，而 $1 + \beta + \beta^{2} + ... + \beta^{t-1} = \frac{1-\beta^{t}}{1-\beta}$ ，所以当 t 足够大时 $\beta^{t} \approx 0$ ，此时便是严格意义上的指数加权移动平均。
在优化算法中，我们一般取 $\beta >= 0.9$ ，此时有 $\beta^{\frac{1}{1-\beta}} \approx \frac{1}{e} \approx 0.36$ ，也就是说 $N = \frac{1}{1-\beta}$ 天后，曲线的高度下降到了约原来的 $\frac{1}{3}$ ，由于时间越往前推移 $\theta$ 权重越来越小，所以相当于说：我们每次只考虑最近(latest) $N = \frac{1}{1-\beta}$ 天的数据来计算当前时刻的 EMA，这也就是移动平均的来源。

二、EMA 偏差修正

这里写图片描述

在 $\beta = 0.98$ 时，理想状况下，我们应该能得到绿色曲线，然而现实我们得到的却是紫色曲线，它的起点比真实的要低很多，不能很好的估计起始位置的温度，此问题称为：冷启动问题，这是由于 $v_0 = 0$ 造成的。
解决方案：将所有时刻的 EMA 除以 $1 - \beta^{t}$ 后作为修正后的 EMA。当 t 很小时，这种做法可以在起始阶段的估计更加准确；当 t 很大时，偏差修正几乎没有作用，所以对原来的式子几乎没有影响。注意：我们一般取 $\beta >= 0.9$ ，计算 t 时刻偏修正后的 EMA 时，用的还是 $t-1$ 时刻修正前的EMA。

假设每次梯度的值都是 $g$ 、 $\gamma = 0.95$ ，此时参数更新幅度会加速下降，当 n 达到 150 左右，此时达到了速度上限，之后将匀速下降（可参考一中的公式理解）。
假如，在某个时间段内一些参数的梯度方向与之前的不一致时，那么真实的参数更新幅度会变小；相反，若在某个时间段内的参数的梯度方向都一致，那么其真实的参数更新幅度会变大，起到加速收敛的作用。在迭代后期，由于随机噪声问题，经常会在收敛值附近震荡，动量法会起到减速作用，增加稳定性。