resnet(残差网络)的F(x)究竟长什么样子?

想弄明白resnet的机制,看了不少网络资源,都提到“H(X)= F(X)+X。H映射计算复杂,F(X)计算相对简单,所以加深网络是OK的”。。。H(X)知道是什么,两个隐藏层节点多的话训练复杂也可以理解。但是没有那篇资料详细写过F(X)长啥样子?多少参数?为何它会比H(X)参数少?然后,resnet的shortcut为何是 输入的X,不是X/2或者其他什么东西?(有资料提到输入的X最适的话F直接等于0即可,方便)

F是求和前网络映射,H是从输入到求和后的网络映射。

比如把5映射到5.1,

那么引入残差前是F'(5)=5.1,

引入残差后是H(5)=5.1, H(5)=F(5)+5, F(5)=0.1。

这里的F'和F都表示网络参数映射,引入残差后的映射对输出的变化更敏感。比如原来是从5.1到5.2,映射F'的输出增加了1/51=2%,而对于残差结构从5.1到5.2,映射F是从0.1到0.2,增加了100%。明显后者输出变化对权重的调整作用更大,所以效果更好。

残差的思想都是去掉相同的主体部分,从而突出微小的变化,看到残差网络我第一反应就是差分放大器...

猜你喜欢

转载自blog.csdn.net/xiewenbo/article/details/80452552
今日推荐