阅读时间：2023-11-4
论文名称：Investigating Echo State Network Performance with Biologically-Inspired Hierarchical Network Structure
1 介绍
年份：2022
作者：Sean L. McDaniel; Marisel Villafañe–Delgado; Erik C. Johnson 约翰·霍普金斯大学应用物理实验室
期刊：2022 International Joint Conference on Neural Networks (IJCNN)
引用量：0
探讨了使用果蝇生物启发的分层网络结构来改善回声状态网络在预测动态系统演化和分类任务中的性能。文章指出，当前的机器学习技术主要由前馈网络主导，缺乏具有递归连接或用于门控递归连接和储层计算网络的专用架构。回声状态网络作为一种的递归网络形式，相比其他递归网络需要更少的训练数据。然而，回声状态网络通常使用随机网络拓扑结构。为了解决这个问题，这篇文章引入了一种新的储层，它采用了受生物网络组织启发的层次化网络结构，引入层次随机块模型。研究表明，表现最好的网络利用了这种新的拓扑结构，并且在Mackey-Glass系统预测和MNIST分类任务中，解的整体分布得到了改善。
2 创新点
（1）引入了受生物网络组织启发的层次化网络结构的储层计算网络（reservoir computing network）：通过运用层次化随机块模型生成网络拓扑结构，将储层计算网络的随机性拓展为更有结构性的网络，以提高网络性能。
（2）研究发现采用新的层次化网络拓扑的网络在Mackey-Glass系统预测和MNIST分类任务中表现最佳，改善了解决方案的整体分布。
（3）论文提出的层次化网络结构可能对多任务和多时间尺度预测有良好的适应性。
（4）进一步研究储层计算网络的结构特性对网络性能的影响，包括网络中心性、小世界性等性质。
3 相关研究
本文采用的是神经元-突触层级组织的图形模型是分层随机块模型（HSBMs）【 Community detection and classification in hierarchical stochastic blockmodels. 】，是用于模拟果蝇神经元-突触连接图的分层聚类现象的模型。
3 算法
（1）储层生成
在这一步骤中，首先构造每个图的ESN（回响态网络），使用自定义类来读取每个图的参数，如节点数量、节点之间连接的概率（连接矩阵，如下图，A是基准ESN的初始权重，B是HSBM的ESN初始权重）等。生成两组网络，分别采用不同的网络实例化方法。第一组中，使用新型HSBM（分层随机块模型）网络提取的概率分布来填充ESN的基准图。第二组中，使用相同的参数值来填充ESN的基准图，即HSBM模型对应的基准ESN具有相同的节点、谱半径、连接概率等。这样，每个HSBM模型都对应一个具有相同参数的基准ESN。
分层随机块模型(Hierarchical Stochastic Block Model, HSBM)算法步骤
- 将N个节点分为K个块或社区，每个社区中的节点之间以概率p连接，社区之间的节点以概率q相连。这里的社区可以大小不等，不一定相等。
- HSBM将SBM扩展为多层或多层次的块。通过添加层次结构，HSBM能够更好地描述网络的层次化组织。
- 每个块内的节点分布是基于参数ρi来确定的，其中ρi表示分布在M个块内的节点的比例。
储层生成（A），网络结构（B）
（2）网络训练
第二步是将相应的邻接矩阵表示输入到网络中。该方法支持Networkx图的邻接矩阵，并将其转换为Torch张量。此步骤将原始储层的内部权重矩阵替换为表示图的矩阵。
（3）网络评估
第三步是对网络进行评估。可以使用NARMA-10、Mackey-Glass系列和MNIST数据集等广泛使用的基准任务来评估RC模型的性能。评估的结果可以使用NRMSE（标准化均方根误差）来衡量。
4 实验分析
（1）实验设置
评价指标：归一化均方根误差 (NRMSE) 和分类准确性
数据集：MNIST、NARMA-10、Mackey-Glass（MGS）
（2）实验结论
- 储层权重矩阵的谱半径并不能很好地预测储层网络的性能差异
- 对储层的邻接矩阵进行的图性分析也未能找到与性能之间的强相关性
5 思考
对于HBSM的实现，没有详细的描述。没有代码，说个屁。
以下相关论文，都是做的同一件事，就是将储层中神经元分为几个簇，而不是一个混沌的结构，翻来覆去的做，换汤不换药。
【Modular state space of echo state network】
【Echo State Network with Hub Property】
【Extending stability through hierarchical clusters in Echo State Networks】
【A Versatile Hub Model For Efficient Information Propagation And Feature Selection】
【Brain-Inspired Modular Echo State Network for EEG-Based Emotion Recognition】