区别和联系:Hopfield网络、BM(玻尔兹曼机)、退火算法、BP

Hopfield网络

能量函数+反馈结构(得到稳定的吸引子)

退火算法(一种思想)

搜索方向固定;如果等于梯度下降方向就完全接受,如果不等于就概率性接受(具有不断跳出位置较高的低谷,搜索位置较低的新低谷的能力)

BM

能量函数+反馈结构+状态概率性转移(退火算法思想)

BP(反向传播)网络

优化过程中的搜索方向变化等同于梯度下降方向

BM和BP

BM训练中同时改变节点状态和参数值;BP训练中改变的是参数值

Ref

《人工神经网络理论、设计及应用 第2版》

猜你喜欢

转载自blog.csdn.net/byamao1/article/details/81157381