模型过拟合欠拟合
训练误差和泛化误差
训练误差指模型在训练数据集上表现出的误差
泛化误差指模型在任意⼀个测试数据样本上表现出的误差的期望
我们的注意力应集中于降低泛化误差，使模型具有更好的普适性。
模型选择
验证数据集 （validation set）
预留⼀部分在训练数据集和测试数据集以外的数据来进⾏模型选择。这部分数据被称为验证数据集，简称验证集。
\(K\)折交叉验证
我们把原始训练数据集分割成K个不重合的⼦数据集，然后我们做K次模型训练和验证。每⼀次，我们使⽤⼀个⼦数据集验证模型，并使⽤其他\(K-1\)个⼦数据集来训练模型。在这\(K\)次训练和验证中，每次⽤来验证模型的⼦数据集都不同。最后，我们对这\(K\)次训练误差和验证误差分别求平均。
过拟合和欠拟合
欠拟合（underfitting）：模型⽆法得到较低的训练误差
过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差
影响因素：模型复杂度和数据集大小
模型复杂度过低，容易出现欠拟合；复杂的过高，容易出现过拟合。我们需要进行模型的选择以均衡训练误差和泛化误差。
训练集中数据量不足容易引起过拟合，而泛化误差与训练集数据量大小无关，所以应尽可能扩大训练集样本量，尤其是在模型复杂度较高的情况下。
应对过拟合的方法
权重衰减（weight decay）
\(L_2\)范数正则化，即统计学习中的岭回归。以线性回归为例，权重衰减将原来的损失函数\(\ell\left(w_{1}, w_{2}, b\right)=\frac{1}{n} \sum_{i=1}^{n} \frac{1}{2}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)^{2}\)，通过增加超参数\(\lambda\)， 变为\(\ell\left(w_{1}, w_{2}, b\right)+\frac{\lambda}{2 n}\|w\|^{2}\)，增加了一个具有\(L_2\)范数惩罚项的新损失函数。\(\|w\|^{2}=w_1^2+w_2^2\)
权重原有的迭代方式变为了
\(w_{1} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{1}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} x_{1}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)\)
\(w_{2} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{2}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{R}} x_{2}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)\)
可以理解为权重乘以一个小于1的数，再减去不含惩罚性的梯度。通过惩罚绝对值较大的模型参数为模型的学习增加限制，能够在一定程度上抑制过拟合。
丢弃法（dropout）
针对于多层感知机中的隐藏层进行“丢弃”。隐藏层中的每一个单元都有概率\(p\)被丢弃，同时有概率\(1-p\)对其进行拉伸。丢弃概率\(p\)为丢弃法超参数。
\(h_{i}^{\prime}=\frac{\xi_{i}}{1-p} h_{i}\)
\(h_i\)为某一个单元，进行丢弃之后得到的新的隐藏单元为\(h_i^{\prime}\) 。\(\xi_{i}\)为一随机变量，\(\xi_{i}=0，1\)的概率分别为\(p\), \(1-p\)。可计算得出\(E(\xi_{i})=1-p\)
\(E\left(h_{i}^{\prime}\right)=\frac{E\left(\xi_{i}\right)}{1-p} h_{i}=h_{i}\)
由上式可得丢弃并不会改变隐藏单元的期望值。但每个隐藏单元都有可能被丢弃，因此在训练模型的过程中不会过度依赖任何一个单元，从而起到正则化的作用。
正向传播、反向传播和计算图
正向传播（forward propagation）
正向传播是指对神经.络沿着从输.层到输出层的顺序，依次计算并存储模型的中间变量
下图为正向传播的计算图(computational graph)，方形为变量，圆形为运算，箭头表示输入到输出之间的关系
他们之间的关系为：
\(z=W^{(1)}x\)
\(h=\phi(z)\)
\(o=W^{(2)}h\)
\(L=\ell(o,y)\)
\(s=\frac{\lambda}{2}\left(\left\|\boldsymbol{W}^{(1)}\right\|_{F}^{2}+\left\|\boldsymbol{W}^{(2)}\right\|_{F}^{2}\right)\)
\(J=L+s\)
反向传播 （back-propagation）
反向传播指的是计算神经⽹络参数梯度的⽅法。总的来说，反向传播依据微积分中的链式法则，沿着从输出层到输⼊层的顺序，依次计算并存储⽬标函数有关神经⽹络各层的中间变量以及参数的梯度。
依据链式法则计算反向梯度依次为：
\(\frac{\partial J}{\partial L}=1, \quad \frac{\partial J}{\partial s}=1\)
\(\frac{\partial J}{\partial o}=\operatorname{prod}\left(\frac{\partial J}{\partial L}, \frac{\partial L}{\partial o}\right)=\frac{\partial L}{\partial o}\)
\(\frac{\partial s}{\partial W^{(1)}}=\lambda W^{(1)}, \quad \frac{\partial s}{\partial W^{(2)}}=\lambda W^{(2)}\)
\(\frac{\partial J}{\partial W^{(2)}}=\operatorname{prod}\left(\frac{\partial J}{\partial o}, \frac{\partial o}{\partial W^{(2)}}\right)+\operatorname{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial W^{(2)}}\right)=\frac{\partial J}{\partial o} h^{\top}+\lambda W^{(2)}\)
\(\frac{\partial J}{\partial h}=\operatorname{prod}\left(\frac{\partial J}{\partial o}, \frac{\partial o}{\partial h}\right)=W^{(2)^{T}}\frac{\partial J}{\partial o}\)
\(\frac{\partial J}{\partial z}=\operatorname{prod}\left(\frac{\partial J}{\partial h}, \frac{\partial h}{\partial z}\right)=\frac{\partial J}{\partial h} \odot \phi^{\prime}(z)\)
\(\frac{\partial J}{\partial W^{(1)}}=\operatorname{prod}\left(\frac{\partial J}{\partial z}, \frac{\partial z}{\partial W^{(1)}}\right)+\operatorname{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial W^{(1)}}\right)=\frac{\partial J}{\partial z} x^{\top}+\lambda W^{(1)}\)
关系阐述
⼀⽅⾯，正向传播的计算可能依赖于模型参数的当前值，而这些模型参数是在反向传播的梯度计算后通过优化算法迭代的。
另⼀⽅⾯，反向传播的梯度计算可能依赖于各变量的当前值，而这些变量的当前值是通过正向传播计算得到的。
在模型参数初始化完成后，我们交替地进.正向传播和反向传播，并根据反向传播计算的梯度迭代模型参。
数值稳定性和模型初始化
深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。
举例：多层感知机，如果有30层，每层都有两个权重分别为0.2和5，第30层输出为输⼊\(X\)分别与\(0.2^{30} \approx 1\times 10^{-21}\)（衰减）和\(5^{30}\approx 9 \times 10^{20}\)（爆炸）的乘积。
随机初始化模型参数
多层感知机若输入相同的权重，在每一个单元中会得到相同的值，使得多层感知机设置的多个隐藏单元失去意义，所以要在训练前设置随机初始值。
MXNet
权重服从-0.07~0.07之间的均匀分布，偏差参数全部清零。
Xavier
记全连接层输入个数为\(a\), 输出个数\(b\)，Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布：
\(U(-\sqrt{\frac{6}{a+b}}, \sqrt{\frac{6}{a+b}})\)