1. 残差连接是什么?
残差连接是一种跳过连接,它将输入添加到网络的中间层或输出上。
2. 残差连接的作用是什么?
残差连接的作用是解决神经网络中的梯度消失问题,它可以让梯度更容易流过很深的神经网络。
3. 残差块是什么?
残差块是由残差连接组成的神经网络模块,通常由两组或三组卷积层加激活函数组成,并添加残差连接。
4. 为什么说残差连接可以缓解梯度消失问题?
因为残差连接可以让梯度直接传递到很深的层,而不需要通过每一层的激活函数,所以可以避免在每层的激活函数中衰减太多。
5. ResNet是什么?
ResNet是基于残差网络的架构,它通过在很深的网络添加残差连接来获得很高的准确率。ResNet曾获得ImageNet竞赛的冠军。
6. ResNet的典型网络结构是什么?
典型的ResNet包含多个残差块,每个残差块由几组卷积层加激活函数组成。整个ResNet使用全局平均池化和全连接层做分类。
7. 残差块通常采用什么样的连接方式?
残差块通常采用两种连接方式:
1)恒等映射:y = x + F(x)
2)投影映射:y = x + F(x) * W,其中W是一个可学习的1x1卷积
8. ResNet的命名规则是什么?
ResNet使用数字表示网络 depth,例如ResNet-18表示包含18个残差块,ResNet-50表示包含50个残差块,以此类推。
9. ResNet有什么变种?
常见的ResNet变种有ResNet-D, ResNeXt, SE-ResNet, Res2Net等。它们在残差连接和残差块的基础上进行了改进。
10. ResNet的应用场景有哪些?
ResNet常用于图像分类、图像分割、目标检测等计算机视觉任务,并在这些领域达到很高的效果。它也被应用到Natural Language Processing的任务中。
11. Res2Net是什么?它和ResNet的区别是什么?
Res2Net是一种改进的ResNet,它使用多分支的残差结构,而不像ResNet只有单一的残差路径。Res2Net可以增强特征的表达能力,获得更高的准确率。
12. ResNeXt是什么?它和ResNet的区别是什么?
ResNeXt是一种改进的ResNet,它在残差块内使用了组卷积(group convolution)来增强模型的表达能力。ResNeXt可以看作是一个扩展的ResNet。
13. SE-ResNet是什么?它和ResNet的区别是什么?
SE-ResNet是一种改进的ResNet,它使用了通道注意力机制(Squeeze-and-Excitation)来重新加权通道特征。SE-ResNet可以更好地利用通道间的依赖关系,得到准确率的提升。
14. ResNet中1x1卷积的作用是什么?
1x1卷积主要用于改变通道数量,它可以做通道压缩或通道扩展,从而控制模型的复杂度。在残差块的投影映射中,1x1卷积用来匹配输入和输出的通道数量。
15. ResNet中为什么不使用池化层?
ResNet的设计者发现,使用残差连接可以让网络达到很深,而不需要池化层也可以得到很好的性能。所以ResNet移除了最大池化层,只使用步幅为2的卷积进行下采样。
16. ResNet的实现细节是什么?
主要的实现细节有:使用批标准化、ReLU激活函数、残差连接、投影映射的1x1卷积等。
17. 除了计算机视觉,ResNet还应用在哪些领域?
ResNet也应用在自然语言处理,例如文本分类、机器翻译等任务中,并取得很好的效果。
18. ResNet的缺点是什么?
ResNet的主要缺点是计算复杂度高,特别是网络变深时。并且,残差连接让梯度可以更容易流过,可能会带来一些梯度爆炸的问题。
19. Residual Attention Network是什么?
Residual Attention Network是一种将注意力机制引入到ResNet中的网络。它在残差连接上添加注意力模块,可以更好地建模长距离依赖的关系。
20. 什么是广义的残差网络?
广义的残差网络泛指一类采用残差学习理念的网络结构。除了典型的ResNet,它包括ResNeXt, Res2Net, SE-ResNet, Residual Attention Network等等。这些网络都使用残差连接并在此基础上有不同的改进,可以看作是广义的残差网络。