周志华《机器学习》 学习笔记
最近开始学习机器学习，参考书籍西瓜书，做点笔记。
第五章 神经网络
5.1 神经元模型
其中x1,x2,…,xn为输入，w1,w2,…,wn为神经元连接权重，θ为阈值，y为输出；
将权重与输入乘积累加起来，再减去阈值，通过激活函数得到输出；
5.2 感知机与多层网络
通过一个输入层和一个输出层的组合可以得到与、或、非运算，但不能得到异或运算；
得到异或运算需要在输入层和输出层之间加入一个隐含层；
隐含层和输出层都是具有激活函数的功能神经元；
“前馈”指网络拓扑结构上不存在环或回路；
5.3 误差逆传播算法（BP）
一个拥有d个输入神经元，l个输出神经元，q个隐层神经元的多层前馈网络结构。
隐层第h个神经元接收到的输入为：
输出层第j个神经元接收的输入为：
则神经网络的输出为：
均方误差为：
BP算法是基于梯度下降法，以目标的负梯度方向对网络中的参数进行调整；
利用链式法则，可对梯度进行扩展；
注：sigmoid的一个重要性质：
通过化简可得到以下重要公式：
gj为输出层的误差值；
eh为隐层的误差值；
四个参数分别为隐层到输出层的权重偏差值、输出层的阈值偏差值、输入层到隐层的权重偏差值、隐层的阈值偏差值；
BP算法的思路：总体分为正向传播和反向传播两个过程
1.正向传播：得到网络输出；
2.反向传播：（1）先得到输出层的误差值，然后再算出隐层节点的误差值；
（2）权重更新、阈值更新；
（3）再将原输入用于网络得到输出，重复步骤。
5.4 全局最小与局部极小
局部极小：在参数空间中的某个点，其邻域点的误差函数值均不小于该点的函数值；
全局最小：参数空间中所有点的误差函数值均不小于该点的误差函数值；
全局最小一定是局部极小，反之不成立；
可画图理解；
5.5 其它神经网络
RBF、ART等网络模型在以后需要深入研究时在探究，现在就了解一下即可。
第五章神经网络，主要学习一下相关思路，以及BP算法，其他的在以后深入了解后在做针对性的学习，大概了解神经网络的结构、流程。
我的笔记做的比较粗糙，还请见谅。