五.反馈(Hopfield)神经网络

  前馈网络一般指前馈神经网络或前馈型神经网络。它是一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层,数据正想流动,输出仅由当前的输入和网络权值决定,各层间没有反馈。包括:单层感知器,线性神经网络,BP神经网络、RBF神经网络等。

  递归神经网络(RNN)是两种人工神经网络的总称。一种是时间递归神经网络(recurrent neural network),又名循环神经网络,包括RNN、LSTM、GRU等;另一种是结构递归神经网络(recursive neural network)。

  反馈网络(Recurrent Network),又称自联想记忆网络,输出不仅与当前输入和网络权值有关,还和网络之前输入有关。其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。包括Hopfield,Elman,CG,BSB,CHNN、DHNN等。

反馈网络具有很强的联想记忆和优化计算能力,最重要研究是反馈网络的稳定性(即其吸引子)

离散Hopfield神经网络

Hopfield神经网络是一种单层反馈,循环的从输入到输出有反馈的联想记忆网络。离散型为DHNN(Discrete Hopfield Neural Network)和连续型CHNN(Continues Hopfield Neural Network)。

Hopfield最早提出的网络是二值神经网络,各神经元的激励函数为阶跃函数或双极值函数,神经元的输入、输出只取{0,1}或者{ -1,1},所以也称为离散型Hopfield神经网络DHNN(Discrete Hopfiled Neural Network)。在DHNN中,所采用的神经元是二值神经元;因此,所输出的离散值1和0或者1和-1分别表示神经元处于激活状态和抑制状态。

离散Hopfield神经网络DHNN是一个单层网络,有n个神经元节点,每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态(1或-1),即当该神经元所受的刺激超过其阀值时,神经元就处于一种状态(比如1),否则神经元就始终处于另一状态(比如-1)。

对于中间层,任意两个神经元链接权值为Wij,Wij=Wji,神经元的连接是对称的,。如果Wii等于0,即神经元自生无连接,则称为无自反馈的Hopfield网络,如果不为0,则为有自反馈的Hopfield网络,但是出于稳定性考虑,应避免使用具有自反馈的网络,在这里,第一层Xi仅仅作为输入,没有实际功能。第三层为输出神经元,其功能是使用阈值函数对计算结果进行二值化。

仅考虑中间神经元节点发现,每个神经元输出将成为其他神经元输入,每个神经元输入又都来自其他神经元。神经元输出数据经过其他神经元之后又反馈给自己。

 

猜你喜欢

转载自www.cnblogs.com/pythonlearing/p/9966467.html
今日推荐