5.1 前馈神经网络（PRML读书笔记）

  回归和分类的线性模型分别在第3章和第4章中讨论过了。它们基于固定⾮线性基函数 $\phi_j(\textbf{x})$的线性组合，形式为

其中 $f(·)$在分类问题中是⼀个⾮线性激活函数，在回归问题中为恒等函数。我们的⽬标是推⼴这个模型，使得基函数 $\phi_j(\textbf{x})$依赖于参数，从⽽能够让这些参数以及系数{ $w_j$}在训练阶段调节。
  神经⽹络使⽤与公式（5.1）形式相同的基函数，例如如下形式的神经网络

其中，⾮线性函数 $h(·)$通常被选为S形的函数，例如logistic sigmoid函数或者双曲正切函数。 $w_{j0}^{(1)}$、 $w_{k0}^{(2)}$称为偏置。可以通过定义额外的输⼊变量的⽅式将公式（5.7）中的偏置参数整合到权参数集合中，从而变为

可以看出，公式5.9跟公式5.1形式上一样。 $h(\sum_{i=0}^Dw_{ji}^{(1)}x_i)$、 $\sigma(·)$分别对应公式5.1中的 $\phi_j(\textbf{x})$、 $f(·)$。公式5.7对应图5.1的两层神经网络，中间的{ $z_0$、…、 $z_M$}称作隐藏单元。公式5.7计算的过程可以看作信息通过⽹络的前向传播。