全部笔记的汇总贴：《人工神经网络原理》-读书笔记汇总
一、感知机
感知机模型结构
在M-P模型和Hubb学习规则的基础上提出了具有自学习能力的单层感知机模型。
- 无反馈的层内无互联层次结构
- 输入层（感知层）
对应由0、1信号组成的输入模式
各神经元信息处理能力 - 隐含层（连接层）
- 输出层（反应层）
- 各层神经元之间全互联
单层感知机模型：无隐含层
多层感知机模型：1或多层隐含层
感知机处理单元模型
感知机学习算法
感知机的局限性
- 线性可分与线性不可分
如果两类样本可以用直线、平面或超平面分开，就称为线性可分，否则就称为线性不可分。
- 感知机模型的局限性
单层感知机模型仅对线性可分问题具有分类能力
多层感知机模型只允许调节一层连接权，感知机学习算法不能让隐含层处理单元具有学习能力。
感知机模型采用阈值型函数作为转移函数，最终只有0/1或-1/1这样离散的输出，限制了感知机模型的分类能力。
感知机的收敛性
如果样本输入函数线性可分，那么感知机模型在学习时经过有限次的迭代，一定可以收敛到正确的连接权值。
如果样本输入函数不是线性可分的，感知机模型的学习过程有可能出现振荡，从而不能保证一定收敛到正确的结果。
二、自适应线性元件
ADALINE模型结构
自适应线性元件以连续线性模拟量作为输入。
ADALINE学习算法
学习算法为最小均方差算法（LMS），也成为Widrow-Hoff算法。
LMS算法遵循误差平方和最小化原则，反复对各个连接权进行修正。
LMS学习算法
下一章传送门：《人工神经网络原理》读书笔记（四）-误差反向传播神经网络