1. 神经网络模型
基本单元是“M-P神经元模型”:
,
是激活函数,常见的有Sigmoid函数、reLu函数。令
,则上面的函数可以表示为
。
输入神经元+“M-P神经元”构成的模型叫做“感知机”。感知机按照下公式迭代更新:
多层前馈神经网络:层之间全连接,层内无连接,跨层无连接。
2. 误差逆传播算法
误差逆传播(BP)算法用于训练多层神经网络。更新的原则是:正向计算值,逆向计算误差,然后使用梯度法更新每个神经元的参数。
用均方差来定义误差
,并且有
,
,则均方差
对倒数第二层参数
的负梯度为:
(这四项分别为:学习率、均方差偏导、激活函数偏导、线性函数偏导)。
,
,均方差对倒数第三层参数
的负梯度为:
。
令
,
,则可以简单表示为:
,
。
同样的,若还有一层,则令
,有
,依次类推。
3. 过拟合问题
防止过拟合的策略主要有2种:
1. 早停策略:验证集误差上升,则停止。
2. 正则化:加上复杂度的惩罚项,比如加上所有权值的平方。