过拟合、欠拟合及其解决方案
欠拟合解决方案：
添加其它的特征项
添加多项式特征
减少正则化参数
过拟合解决方案：
增加训练样本
权值衰减
dropout
梯度消失、梯度爆炸
梯度爆炸
如果在连续乘法中出现一个非常大的值，计算出一个很大的梯度值，如果以这个梯度值进行更新，那么这次迭代的步长就很大，可能会一下子飞出了合理的区域。
可以通过梯度裁剪的方法解决。
梯度消失
如果连续乘法中出现一个较小的值，计算梯度趋近0，则梯度消失。
梯度消失可以换用Relu、LeakyRelu、Elu等激活函数。
循环神经网络
