《人工神经网络原理》读书笔记（二）-人工神经网络基础

全部笔记的汇总贴：《人工神经网络原理》-读书笔记汇总

一、生物神经系统

生物神经元的结构

生物神经元的功能

• 时空整合功能
• 兴奋与抑制状态
• 脉冲与电位转换
• 神经纤维传导速度
• 突触延时和不应期
• 学习、遗忘和疲劳

二、人工神经元模型

人工神经元的形式化描述

人工神经元的功能

• 加权：对每个输入信号进行处理以确定其强度
• 求和：确定所有输入信号的组合效果
• 转移特性：确定其输出

人工神经元模型

转移函数

三、M-P模型

四、人工神经网络的互连结构

• 无反馈的层内无互联层次结构
  单纯型层次结构：输入层、隐含层、输出层（BP模型）
• 有反馈的层内无互联层次结构
• 无反馈的层内互联层次结构
  自组织神经网络
• 有反馈的层内互联层次结构
  相互结合型结构，网络中的任意两个神经元之间都可能存在连接（Hopfield网络、Boltzmann机）

五、人工神经网络的学习

人工神经网络的学习方式

人工神经网络的学习过程

• 网络连接权值的调整过程

人工神经网络的学习方式（评价标准）

• 有指导的学习：评价标准由外部提供（期望输出）
• 无指导的学习：评价标准由网络自身提供
• 灌输式的学习：通过设计得到网络连接权
  

基本的神经网络学习规则

• Hubb学习规则
  调整神经元$i$到神经元$j$之间的连接权值$W_{ij}$的方法是：若第$i$个神经元与第$j$个神经元同时处于兴奋状态，则他们之间的连接应当加强。
  Hubb学习规则与“条件反射”学说一致，已经得到了神经细胞学说的证实。
• 纠错学习规则
  应用在采用有指导的学习方式的人工神经网络模型中。
  根据来自输出节点的外部反馈（期望输出）调整连接权，使得网络输出节点的实际输出与外部的期望输出一致。
  学习训练时需要大量的训练样本，因此训练时的收敛速度较慢。
  部分纠错学习规则存在“局部最小值”问题，不能保证一定收敛于全局最小点。
• 相关学习规则
  仅根据互相连接的神经元的激活水平调整连接权。
  经常应用在能够实现自联想记忆的人工神经网络模型中，用于实现执行特殊记忆状态的死记硬背式学习。
• 随机学习规则
  随机学习规则利用了随机过程、概率和能量的关系调整连接权。
  网络并不基于某种确定性算法调整连接权值，而是按照某种概率分布进行处理。
  可能使网络避免陷入局部最小点而到达全局最小点。
• 胜者为王学习规则
  一种竞争学习规则，应用在采用无指导的学习方式的人工神经网模型中。
  在神经网络的竞争层，对一个特定输入模型$X$，只有具有最大加权和的神经元$j$才能够获胜。
  胜者为王学习规则调整获胜神经元输入连接权值的结果就是使其进一步接近当前的输入模式$X$。
• 内星和外星学习规则
  内星学习规则用于训练内星节点响应一个特定的输入模式$X$。
  外星学习规则用于调整与外星节点$j$相连的外星输出连接权$T_j$，使其接近期望的输出模式$Y$。

下一章传送门：《人工神经网络原理》读书笔记（三）-早期的自适应神经网络