本文根据《Zhang Neural Network for Online Solution of Time-Varying Sylvester Equation》做的论文总结。
该篇论文主要比较GNN与ZNN，模拟结果证明了张神经网络在时变问题求解方面要比传统的递归神经网络高效得多。以下是论文中的主要知识点。
1、ZNN与基于梯度的神经网络用于求解时变Sylvester方程相比，是基于矩阵值误差函数E(t) = A(t)X(t)-X(t)B(t) + C(t) 而不是标量值误差函数
。它以隐式动力学描述，而不是显性动力学。
2.西尔维斯特方程也就是线性矩阵方程，AX-XB+C=0
3、动态系统方法，以递归神经网络的形式，是解决优化和方程问题的重要并行处理方法之一
4、梯度下降法：首先，我们构造一个误差函数（例如，||AX -XB + C||），使其最小点是方程的解。 其次，开发了递归神经网络，以沿着该误差函数的下降方向演化，直到达到误差函数的最小值。 典型的下降方向由负梯度定义。
5、方程系数是时变的，梯度模型不能很好的收敛。因为时间变化系数的影响，负梯度方向不再能保证这种误差函数的减少。通常，如果采用基于梯度的方法，实时求解需要一个比时变系数收敛快得多的递归神经网络。将这种方法应用于时变情况的缺点有两方面。1)更快的收敛速度通常是以精度为代价的，或者对设计参数有严格的限制。2)这种方法不适用于系数变化快或涉及大型复杂控制系统的情况。
6、这里值得一提的是，对西尔维斯特方程的简化可能会导致各种新的问题，如矩阵逆问题和线性方程问题
7、一般来说,任何单调递增的奇的激活函数f (·), ijth元素的矩阵映射f (·)∈Rm×n,可用于神经网络的设计
8、GNN与ZNN模型比较
第一，ZNN基于矩阵值误差函数的每一项的消去E(t) = A(t)X(t)-X(t)B(t) + C(t).
GNN是在消除标量值误差函数的基础上设计的
（其中ABC只能为常数）
第二，Zhang神经网络(3)系统地利用系数矩阵A(t)、B(t)和C(t)在求解过程中的时间导数。这就是为什么张氏神经网络(3)全局指数收敛于一个时变问题的精确解。相比之下，基于梯度的递归神经网络(4)并没有充分利用这些重要信息。
第三,张神经网络(3)描述了一个隐式动力学,或简洁地安排形式M(t)˙y(t)= P(t)y(t)+(t)M(t),P(t)(t)和y(t)可以由使用克罗内克积和向量化技术[1][2][10]。基于相反,梯度递归神经网络(4)描述了一个显式动力学,或简洁地安排形式y˙(t)= Py¯(t)+¯。值得指出的是，由于基尔霍夫的规则，隐式动态方程(或说隐式系统)经常出现在模拟电子电路和系统中。此外，与显式系统相比，隐式系统具有更强的动态系统表示能力。隐式动力学方程可以在系数/质量矩阵中保持物理参数，即M (t)在M (t)˙y (t) = P (t) y (t) + (t)。它们可以用同样的形式描述一个动态系统中通常和不寻常的部分。从这个意义上说，隐式系统要比显式动力学系统优越得多。此外，如果需要的话，隐式动力学方程(或隐式系统)可以在数学上转换为显式动力学方程(或显式系统)
- ZNN公式设计
- GNN设计公式
文章是为了方便自己学习做的简单粗暴的学习总结，勿介意。