机器学习复习笔记5 （第五章神经网络）

5.1 神经元模型

神经网络的定义：神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组成能够模拟生物神经系统对真实世界物体做出的交互反应。

MP神经元模型，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理产生神经元的输出。下图形象地表现了这个模型结构：

感知机学习规则：对训练样例(x,y)若当前感知机的输出为 $\small \hat{y}$ ,则感知机权重调整规则为：

$\small w_{i}\leftarrow w_{i}+\Delta w_{i}$

$\small \Delta w_{i}=\eta \left ( y-\hat{y} \right )x_i$

其中 $\small \eta \in \left ( 0,1 \right )$ 称为学习率

若感知机对训练样例（x,y)预测正确，则感知机不发生变化；否则根据错误程度进行权重的调整。

定义：每层神经元与下一层神经元全互联，神经元之间不存在同层连接也不存在跨层连接

前馈：输入层接收外界输入，隐含层与输出层神经元对信号进行加工，最终结果由输出层神经元输出

学习：根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的“阈值”

多层网络：包含隐层的网络

本节将以以下的神经网络模型作为例子进行讲解。

给定条件：

给定训练集 $\small D=\left \{ \left ( \boldsymbol{x}_{i},y_{i} \right ) \right \},\boldsymbol{x}_{i}\in R^{d},y_{i}\in R^{l}$ ,即输入示例由d个属性描述，输出l维实值向量。
该网络包含d个输入神经元，l个输出神经元，q个隐层神经元。

定义参量：

学习目标：

确定网络中共计 $\small \left ( d+l+1 \right )q+l$ 个参数，包括：

几个重要公式：

计算神经网络的输出： $\small \hat{y}_{j}^{k}=f\left ( \beta _{j}-\theta _{j} \right )$ ->1
输出层神经元梯度项计算公式： $\small g_{j}=\hat{y}_{j}^{k}\left ( 1-\hat{y}_{j}^{k} \right )\left ( y_{j}^{k}-\hat{y}_{j}^{k} \right )$ ->2
隐层神经元梯度项计算公式： $\small e_{h}=b_{h}\left ( 1-b_{h} \right )\sum_{j=1}^{l}w_{hj}g_{j}$ ->3
目标参数的更新公式： $\small \Delta w_{hj}=\eta g_{j}b_{h}$ 、 $\small \Delta \theta _{j}=-\eta g_{j}$ 、 $\small \Delta v_{ih}=\eta e_{h}x_{i}$ 、 $\small \Delta \gamma _{h}=-\eta e_{h}$ ->4