正交性在ConvNet过滤器中是一种理想的品质，部分原因是与正交矩阵相乘会使原始矩阵的norm保持不变。这一特性在深度或循环网络中很有价值，因为重复的矩阵乘法会导致信号消失或爆炸。我们注意到用正交矩阵初始化权重的成功（Saxe等人，2014），并认为在整个训练中保持正交性也是可取的。为此，我们提出了一种简单的权重正则化技术，即正交正则化，通过将权重推向最近的正交流形来鼓励权重的正交。(we propose a simple weight regularization technique, Orthogonal Regularization, that encourages weights to be orthogonal by pushing them towards the nearest orthogonal manifold.)
Where Σ indicates a sum across all filter banks, W is a filter bank, and I is the identity matrix.