阅读时间：2023-10-31
1 介绍
年份：2010
作者：Sarah Jarvis1,2* Stefan Rotter1,3 Ulrich Egert1,2
1 弗莱堡伯恩斯坦中心, 弗莱堡, 德国
2 弗莱堡大学工程学院微系统工程系生物微技术，德国弗莱堡
3 计算神经科学，生物系，弗莱堡大学，弗莱堡，德国
期刊：Frontiers in neuroinformatics
引用量：28
文章探讨了嵌入子结构对回声状态网络（Echo State Networks，简称ESN）稳定性的影响。这些网络依靠稳定的储层群体进行运行，以避免活动的累积。该研究特别关注引入分层聚类对谱半径的影响，而谱半径通常用于表示传统ESN中网络动力学的稳定性。文章解释了生成分层聚类ESN（HESN）的过程，其中包括三个新参数：簇内连通性（connintra）、簇间连通性（conninter）和每个簇的主干单元数量（bbpc）。研究发现，分层结构和相对较小的簇大小都可以扩展谱半径值的范围，从而得到稳定的网络，而增加簇间连通性会减小最大谱半径。研究表明，分层聚类的储层对谱半径的选择更加稳定，因为它们在更大范围的谱半径值下保持稳定。文章最后强调了理解储层架构如何影响稳定性对于适当设计非线性信号预测的ESN的重要性。
作者定义了具有不同连接概率和连接权重的层次聚类结构。这种层次聚类结构是通过将每个集群的前几个单元作为主干单元，并在不同集群之间建立连接来生成的。
2 创新点
（1）引入了层次聚类的 ESN（Echo State Networks）模型：论文介绍了通过在 ESN 中引入层次聚类的方法，即 Hierarchically Clustered ESN（HESN）模型。这种模型在传统的 ESN 中增加了层次结构，通过在网络中引入不同层次的集群，来提高网络的稳定性和性能。
（2）提出了新的网络参数：为了生成层次聚类的 ESN，论文引入了三个新的参数：集群内连接性（connintra）、集群间连接性（conninter）和每个集群的骨干单元数（bbpc）。这些参数的调整可以影响网络的稳定性和性能。
（3）研究了层次结构对网络稳定性的影响：论文通过实验发现，引入层次聚类结构和较小的相对集群大小可以扩展谱半径（spectral radius）的取值范围，从而提高网络的稳定性；而增加集群间连接性会降低网络的谱半径的最大值。
（4）论证了层次聚类的储层对谱半径的鲁棒性更高：论文进一步验证了层次聚类的储层在不同谱半径取值范围内都能保持稳定。这表明层次聚类的储层对于谱半径的选择更加鲁棒，能够在更大范围内保持网络的稳定性。
3 算法
有层次聚类的ESN
无层次聚类的ESN
生成层次聚类ESN的过程
（1）首先指定总储层大小R、簇数n和每个簇的背骨单元数b。
（2）然后为每个簇创建大小为R/n和连接概率conninter的簇内连接。
（3）接下来生成簇间连接矩阵。首先在每个簇中标识前b个单元作为背骨单位，然后定义一个大小为(bR/n)的矩阵，并使用连接概率conninter随机分配连接权重。储层的连接矩阵Wres通过重新缩放将最大特征值设置为定义的谱半径。
4 实验分析
ESN 的稳定性取决于多种因素的组合，包括绝对储层大小、绝对簇大小和簇数量。
研究了与储层结构相关的三个参数：储层大小R、每个簇的骨干单元数bbpc和簇间连通性conninte参数，对稳定性网络的光谱半径范围的影响，结果表明网络参数的变化对rmax值和特征值分布有明显影响。
发现层次结构对网络动态的影响大于聚类结构。增加层次结构会增加网络的最大稳态半径 rmax（表示网络稳定性的指标），而增加聚类结构对 rmax 的影响不明显。此外，我们还计算了网络的记忆容量（MC）来评估性能。实验结果显示，减少聚类数量可以增加记忆容量，而增加聚类之间的连接强度会降低记忆容量。总而言之，层次结构对网络稳定性有更大的影响，而聚类结构对网络性能的影响较小。
5 思考
利用了层次聚类的算法思想，对神经元分为几个簇。这篇论文的实验讨论部分是比较丰富的。类似的几篇论文如下：
【Modular state space of echo state network】
【Echo State Network with Hub Property】
【Extending stability through hierarchical clusters in Echo State Networks】
【A Versatile Hub Model For Efficient Information Propagation And Feature Selection】