返回 Deep Learning 经典网络 model 发展史 目录
上一章：深度篇—— Deep Learning 经典网络 model 发展史(六) 细说 ResNet 结构和特点
下一章：深度篇—— Deep Learning 经典网络 model 发展史(八) 细说 DenseNet 结构和特点
本小节，细说 Inception-ResNet 结构和特点，下一小节细说 DenseNet 结构和特点
论文地址：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
二. 经典网络(Classic Network)
7. Inception-ResNet
(1). Inception-ResNet 特征神经网络图形
(2).Inception-v4 block、Inception-v4 block 和 Inception-ResNet block，以及它们的网络结构
Inception-v4、Inception-ResNet-v1 与 Inception-ResNet-v2 它们之间，整体网络结构类似，只是组成网络结构的 block 有所不同而已。这样来思考的话，更容易理解网络结构。
(3). Inception-ResNet 特性：
①. 在 Inception-ResNet 里主要有 Inception-ResNet V1 和 Inception-ResNet V2。Inception-ResNet V1 是对应 Inception-V3 进行 ResNet 改造的。Inception-ResNet V2 是对应 Inception-V4 进行 ResNet 改造的。
②. 作者发现，如果 filter 的个数超过 1000 个，残差网络会变得不稳定，网络会在训练的早期就 “死掉”，也就意味着在 几万次迭代之后， avg pooling 之前的最后几层网络参数全是 零。解决方案是要么减少 learning rate，要么对这些层增加额外的 BN (如果 BN 没救了，则使用下面的缩放来补救)。作者又发现，如果将残差部分缩放后再跟需要相加的层相加，会使网络在训练过程中更稳定。因此作者选择了一些缩放因子在 0.1 ~ 0.3 之间，用这个缩放因子去缩放残差网络，然后再去做加法。使用缩放因子并不是严格需要的，它对网络没有害处，会帮助网络训练更加稳定。
③. 网络比较
论文中提供的数据可以看出 Inception-V4 和 Inception-ResNet V2 的差别并不大，但是都比 Inception-V3 和 Inception-ResNet V1 好很多
a. 在 Inception-ResNet V1 和 Inception-V3 的比较中，Inception-ResNet V1 虽然训练速度更快，不过最后结果比 Inception-V3 差那么一点点
b. 在 Inception-ResNet V2 和 Inception-V4 的比较中，Inception-ResNet V2 的训练速度更快，层数更少，而且结果比 Inception-V4 更好一点点。所以最后胜出的是 Inception-ResNet V2。
返回主目录
返回 Deep Learning 经典网络 model 发展史 目录
上一章：深度篇—— Deep Learning 经典网络 model 发展史(六) 细说 ResNet 结构和特点
下一章：深度篇—— Deep Learning 经典网络 model 发展史(八) 细说 DenseNet 结构和特点
