《人工神经网络原理》读书笔记（七）-自适应共振理论神经网络

全部笔记的汇总贴：《人工神经网络原理》-读书笔记汇总

一、自组织神经网络的提出

自组织神经网络采用类似于人类大脑生物神经网络的无指导学习方式，能够对外界位置环境进行学习或模拟，并对自身的网络结构进行调整，实现对输入模式的自动分类。

在调整网络结构时，网络按照预定的规则和输入模式，不断调整网络连接权值直至形成一种全局有序的结构，而这种全局有序的结构时通过网络中许多相邻神经元的局部相互作用形成的，这也是自组织的本质。

自组织神经网络由输入层和输出层（竞争层）构成，两层间的各个神经元采用全连接。

输入层负责接收外界信息并将输入模式向输出层传递，起“观察”作用。

输出层负责对输入模式进行“分析比较”，找出规律并进行正确归类。

自组织神经网络采用竞争学习机制。

二、竞争学习

竞争学习的概念

竞争学习的基本思想

• 神经网络内同一层的各个神经元之间相互进行竞争，竞争胜利的神经元修改与其相连的连接权，使其朝着更加有利于自身竞争的方向调整。

竞争学习采用无指导的学习方式

• 网络在学习过程中，能够根据输入模式样本进行自组织，将相似的输入模式样本划分为一类，将不相似的模式样本分离，实现模式样本的类内相似性和类间分离性。

竞争学习规则

基本的竞争学习网络分为输入层和竞争层。

输入层有$n$个神经元，输入样本是值为0或1的二值向量，输入模式为$X=(x_1,x_2,\cdots ,x_n{)}^T$

竞争层有$m$个神经元，与输入模式对应的竞争层输出模式为$Y=(y_1,y_2,\cdots ,y_m{)}^T$

输入层神经元$i$与竞争层神经元$j$之间的连接权值为$w_{ij}$，竞争层神经元$j$的所有连接权之和为1，即满足式${\sum }_{i=1}^n{w}_{ij}=1,j=1,2,\cdots ,m$

竞争学习过程

三、自适应共振理论（ART）神经网络的提出及特点

ART神经网络的提出

• 能够完全模拟大脑可塑性与稳定性的人工神经网络模型。

ART神经网络的特点

• ART神经网络实现的是实时学习，而不是离线学习；
• ART神经网络解决的是非稳定的、不可预测的非线性问题；
• ART神经网络具有自稳定性；
• ART神经网络能够自行学习一种评价指标，不需要由外界强行给出评价函数
• ART神经网络能够主动将注意力集中于最有意义的特征，不需要被动地由外界给出各种特征的注意权值；
• ART神经网络可以在近似匹配的基础上进一步学习，具有更好的抗噪性和鲁棒性；
• ART神经网络的学习可以先快后慢，避免了系统振荡；
• ART神经网络可以实现快速直接访问；
• ART神经网络可以通过“警戒”参数来调整判别函数。

四、ART1神经网络

ART1神经网络的结构

两层结构

• 输入层（比较层）
• 输出层（识别层）
• 从输入层到输出层的前馈连接
• 从输出层到输入层的反馈连接

功能

• 注意子系统
  包括比较层和识别层；
  作用是对熟悉的事件进行处理，建立熟悉事件对应的内部表示；
  完成自下而上的向量的竞争选择，以及完成自下而上向量和自上而下向量的相似度比较。
• 取向子系统
  包括比较层至识别层之间的双向连接；
  作用是对不熟悉的事件产生响应；
  检验期望向量和输入向量的相似程度，当相似度低于某一给定标准值时，就取消此刻的竞争优胜者，转而从其余类别中选取优胜者。

ART1神经网络处理单元模型

ART1网络结构

• 比较层和识别层；
• 1个复位信号$R$；
• 2个增益控制信号$G_1$和$G_2$。

比较层

• 有$n$个神经元
• 输入包括3个方面
  外界输入信号$x_1,i=1,2,\cdots ,n$；
  识别层获胜神经元$j$的反馈信号$t_{ij}$；
  增益控制信号$G_1$。
• 输出为$c_i,i=1,2,\cdots ,n$，按照“多数表决”原则（也称为2/3原则）产生$$c_i=\{\begin{array}{l}1x_i,t_{ij},G_1中有两个或多于两个的信号值为1\\ \\ 0其他\end{array}$$

识别层

• 有$m$个神经元，其输出为$y_i,i=1,2,\cdots ,m$，用于表示输入模式中的$m$个类别；$m$可以动态增长，用于表示新的分类模式。

比较层与识别层之间的连接为$w_{ij},i=1,2,\cdots ,n,j=1,2,\cdots ,m$，比较层的输出沿此连接向识别层传递，识别层的各个神经元接受该信号后经过竞争产生获胜神经元$j$，表示本次提供的输入模式所属类别。

复位信号

• 识别层获胜神经元$j$至比较层的反馈连接权$T_j$与输入模式$X$的相似程度超过预先设定的相似度$p$，则神经元$j$为真正获胜者；反之，神经元$j$不能作为真正的获胜者，使用复位信号强制其输出无效，即$y_j=0$。

增益信号$G_1$

• 控制比较层中各个神经元的输出，让网络未见过的新输入无变化地通过比较层到达识别层，并且在没有输入信号时让比较层停止工作。

增益信号$G_2$

• 控制识别层地一个开关，在有输入信号时打开识别层，使得识别层地各个神经元能够平等竞争，在无输入信号时关闭识别层。

ART1神经网络的学习规则

ART1神经网络的学习分为四个阶段

• 识别阶段
• 比较阶段
• 学习阶段
• 搜索阶段

ART1神经网络的学习过程

• 比较层（输入层）有$n$个神经元，识别层（输出层）有$m$个神经元，比较层至识别层的前馈连接权为$w_{ij}$，识别层至比较层的反馈连接权为$t_{ij},i=1,2,\cdots ,n,j=1,2,\cdots ,m$，$p$为网络的警戒参数，$0<p<1$。

ART1神经网络特性分析

实时在线学习能力

可控分类粒度

• 调整警戒参数值

脆弱的分类能力

长期存储与短期存储

• 长期存储：前馈和反馈连接权
• 短期存储：比较层和识别层输出

五、ART2神经网络

ART2神经网络的结构

两层结构

• $F_1$层（比较层）和$F_2$层（识别层）
• $F_1$层至$F_2$层的前馈连接
• $F_2$层至$F_1$层的反馈连接

ART2神经网络处理单元模式

$F_1$层

• $n$个 处理单元，接受输入向量$I=(I_1,I_2,\cdots ,I_n)$。
• 每个处理单元都包括上、中、下三个子层
  下层接受来自外界的输入；
  上层接受来自$F_2$层的反馈输入；
  中间层对这两种输入进行相应的转换、比较和保存，并将输出返回给上层节点及下层节点。
• 两个闭合的正反馈回路
  下层和中间层；
  中间层和上层。
• 每个子层中包含两种不同功能的节点，分别以空心圆和实心圆表示
  空心圆节点接受两类输入（兴奋性输入，代表指向神经元的特定输入模式；抑制性输入，代表增益控制输入）；
  实心圆节点的功能是求其输入矢量之模。
• 各子层各类节点的运行方程为$$\begin{gathered} Z_i=I_i+a{u}_i{y}_i=f(x_i)+bf(q_i) \\ {x}_i=\frac{z_i}{e+||Z||}\approx \frac{z_i}{||Z||}{u}_i=\frac{v_i}{e+||V||}\approx \frac{v_i}{||V||} \end{gathered}$$或$$\begin{gathered} f(x)=\{\begin{array}{l}\frac{2\theta x^2}{x^2+{\theta }^2}x\le x<\theta \\ \\ xx\ge \theta \end{array}{p}_i=u_i+\sum _{j=1}^{m}g(y_j)t_{ij} \\ f(x)=\{\begin{array}{l}00\le x<\theta \\ \\ xx\ge \theta \end{array}{q}_i=\frac{p_i}{e+||P||}=\frac{p_i}{||P||} \end{gathered}$$

$F_2$层

• 主要用于类别划分，其关键作用是提高自下而上（$F_1\to F_2$）的滤波输入模式的对比度和发出重置信号，其中对比度增强通过竞争实现。
• 由$F_1$层送往$F_2$层中第$k$个节点的输入为$$h_k=\sum _{i=1}^n{p}_i{w}_{ik}$$
• 在$F_2$中选择一个与当前输入$I$相对应的输出值最大的神经元作为获胜神经元 h j = max ⁡ { h k }          k = 1 , 2 , ⋯   , m y j = { 1        h j = max ⁡ { h k } 0          其 他 h_j=\max\{h_k\}\;\;\;\;k=1,2,\cdots,m\\y_j=\left\{ \begin{array}{l} 1\;\;\;h_j=\max\{h_k\} \\ \\0\;\;\;\;其他 \end{array} \right. hj​=max{ hk​}k=1,2,⋯,myj​=⎩⎨⎧​1hj​=max{ hk​}0其他​
• 计算$F_2$层至$F_1$层的反馈信号强度，并简化$p_i$的计算，其中$d$为$F_2$层自上而下反馈回$F_1$层的反馈常数，且$0<d<1$ g ( y j ) = { d          h j = max ⁡ { h k } 0          其 他                p i = u i + d t i j g(y_j)=\left\{ \begin{array}{l} d\;\;\;\;h_j=\max\{h_k\}\\ \\0\;\;\;\;其他 \end{array} \right.\;\;\;\;\;\;\;p_i=u_i+dt_{ij} g(yj​)=⎩⎨⎧​dhj​=max{ hk​}0其他​pi​=ui​+dtij​
• 复位信号：使未能通过相似度检验的$F_2$层获胜神经元失效。

ART2神经网络的学习规则

ART2神经网络学习的四个阶段

• 识别阶段
• 比较阶段
• 学习阶段
• 搜索阶段

ART2神经网络的学习过程

下一章传送门：《人工神经网络原理》读书笔记（八）人工神经网络应用的设计开发