Deep Hyperspherical Learning

Hyperspherical Convolutional 超球面卷积随着CNN网络的加深,参数增多,网络会变得越来越难训练(过拟合,梯度消失/梯度爆炸),对于参数的初始化也会变的更加敏感。为了优化这个问题,作者采用了一种新奇的方法即超球面卷积(SphereConv) 代替原来的内积计算。这种网络结构(SphereNet)会更容易优化,收敛更快,同时在一些分类任务上也表现的比普通的卷积网络更好。













实验:

优点:1.通道数增加,效果会更好。2.可以不用 激活函数 Relu ,其计算本身就是非线性。3.收敛稳定快速, 正交的w对结果也有提升效果。
局限性:1.网络要宽一些,即通道数多些效果好些,否者表现可能比以前差。2.计算量变多。3.训练有很多前提条件。


猜你喜欢

转载自blog.csdn.net/u011808673/article/details/80702829