阅读时间：2023-11-11
1 介绍
年份：2007
作者：邓志东 计算机科学与技术系北京国家信息科学技术研究中心 (BNRist),智能技术与系统国家重点实验室，清华大学人工智能研究院（THUAI），清华大学
期刊： IEEE Transactions on neural networks
引用量：138
提出名为SHESN的网络模型，是一种具有自相似和高聚类特征的拓展型ESN网络,它是一个小世界递归神经系统的状态储库的无标度高聚类扩展。该模型具有短特征路径长度、高聚类系数、无标度分布、分层和分布式架构等特性。
2 创新点
（1）提出了一个新的状态储备模型——尺度无标度高聚类回声状态网络（SHESN）。该模型包含了特征路径长度短、聚类系数高、尺度无标度分布和分层分布式架构等特点。
（2）通过研究该复杂网络模型的集体行为，将其应用于Mackey-Glass动态系统和激光时间序列预测等问题，并与传统的回声状态网络（ESN）进行了比较。结果表明，SHESN模型在逼近高度复杂的非线性动力学方面具有显著的改进，并具有更强的回声状态性能。
（3）论文强调了SHESN反映了生物神经系统的自然特性，如幂律、小世界性和分层结构。
（4）该研究探索了在ESN模型的状态储备中引入各种复杂性来提高其逼近能力的可能性。
（5）提出的SHESN模型在建模和预测非线性动态系统方面显示出了良好的结果。
3 相关研究
作者的启发来源：具有小世界效应或无标度分布的神经网络模型在记忆容量、时间和同步方面表现出色。采用了波士顿大学代表性互联网拓扑生成器（BRITE）模型的基本思想。【On the origin of power laws in internet topologies】
4 算法
SHESN由三层组成：输入层、一个新的状态储备层（或隐藏的动态层）和输出层。新的状态储备层通过递增生长生成，具有自然演化特征，包括节点度的无标度或幂律分布、高聚类系数、短特征路径长度和分层分布结构。
自然生长模型的SHESN储层的生成大致包括以下六个步骤：
1）初始化一个状态储层的网格平面。
2）在网格平面上放置主干神经元，然后在主干神经元之间建立突触连接。
3）在网格平面上添加一个新的局部神经元。
4）使用局部优先连接规则为新添加的局部神经元生成突触连接。
5）重复3）和4）这些步骤对于每个新的局部神经元。
6）生成一个储层权重矩阵，以满足回响状态特性。
在生成新的状态储层的过程中，使用了一些自然生长规则和优先连接规则来保证储层具有小世界和无标度特性。这些规则的实现包括了选择合适的初始拓扑结构、使用固定集合的主干神经元并在其之间建立突触连接，以及使用局部优先连接规则为新的局部神经元生成突触连接。
5 实验分析
（1）数据集
Mackey-Glass
Laser Time-Series Prediction
（2）实验分析
1000个内部神经元按照增量方式放置在300×300的网格平面上，结果形成了十个明显的簇或领域。说明自然演化储库的网络拓扑在不同层次上具有空间层次分布的结构
十个领域的平均特征路径长度和聚集系数
小世界现象：平均特征路径长度和聚集系数评价。平均特征路径长度和聚集系数用于表征复杂网络拓扑的小世界现象。SHESN的新储层具有较短的平均特征路径长度和较高的聚集系数。
激光时间序列的NRMSE测试误差与谱半径之间的关系
储层连接权矩阵的谱半径必须小于1，ESN才具有回声状态属性。而SHESN模型允许更宽的频谱半径范围，从而改善了回波状态的特性。在MG系统上的实验结果和激光时间序列预测表明，当谱半径大于1时，ESN变得不稳定，而当谱半径达到6.0时，SHESN仍然保持稳定，增强了回声状态属性。
对于MG动力系统，时间延迟越大，系统的非线性就越严重。在MG系统中，当时间延迟大于25时，就会出现混沌的时间序列。随着时间延迟增加到26及以上，SHESN比ESN更具近似非线性动力学的能力。
SHESN的特征值谱具有幂律分布的特点，而ESN的特征值谱则相对均匀。这表明SHESN拥有更好的特征值分布，能够更好地逼近高度复杂的非线性动力学系统。对于SHESN，特征值谱的幅值越大，只有很少的特征值会超过单位圆，大部分特征值幅值较小并迅速下降。这些小幅值的特征值会占据主导地位，决定了系统的全局收敛性。通过对特征值谱的研究，可以更好地理解ESN和SHESN的性能和逼近能力。特征值谱的幅值分布对于确定系统的稳定性和收敛性都有重要作用。
6 思考
这篇论文的创新点重点在改进ESN网络中储层生成过程算法，通过这种算法生成的储层后，反过来对储层进行可视化和数据分析，得出结论是具有小世界特性的。在实验分析中用特征值谱来评价储层的模型稳定性和收敛性，比较新颖的角度。