卷积神经网络综述
原理
原理参考1
原理参考2
相关模型
模型 |
年代 |
特点 |
结构 |
概念 |
相关代码 |
LeNet-5 |
90年代 |
LeNet-5 也能使用反响传播算法(backpropagation) ]训练 ,三种类型的神经网络层 |
|
卷积层 ,池化层,池化层.1、卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,2、全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用 |
|
AlexNet |
2012 |
1、使用了非线性激活函数ReLu与Dropout方法2、由五层卷积和三层全连接组成,输入图像为三通道224x224大小,网络规模远大于LeNet 3、使用了Dropout,可以作为正则项防止过拟合,提升模型鲁棒性 |
|
|
|
ZFNet |
|
1、对AlexNet的改进首先在第一层的卷积核尺寸从11x11降为7x7,2、将卷积时的步长从4降至2。 3、这样使中间的卷积层扩张从而可以捕捉到更多的信息。 |
|
|
|
VGGNet |
2014 |
网络的深度扩展到了19层,并且在每个卷积层使用了3x3这种小尺寸的卷积核。结果证明深度对网络性能有着重要影响 |
|
|
|
GoogleNet |
2015 |
增加了网络的宽度与深度,并且相比于更窄更浅的网络,其在没有明显增多的计算量的情况下使网络性能明显增强。 |
|
|
参考分析 |
ResNet |
ILSVRC 2015冠军 |
层数变得更多, ResNet是 AlexNet的20多倍,是 VGGNet的8倍多,增加深度,网络便能够利用增加的非线性得出目标函数的近似结构 , ResNet通过引入shortcut直连来解决梯度消失 |
|
|
|
DenseNet |
|
每一层输出都直连到后面的所有层,可以更好地复用特征,每一层都比较浅,融合了来自前面所有层的所有特征,并且很容易训练 |
|
|
|
ResNeXt |
2017 |
左边为普通的resnet结构,而右边为ResNeXt提出的结构,有点像inception+resnet。但是inception最后是拼接,而这里是加,各个通道也是一模一样的(很方便之后特征图相加)。 而ResNeXt和ResNet的主要区别就在于group操作 |
|
|
|
DPN |
|
融合了ResNeXt和DenseNet的核心思想。分成左右两个部分,第一部分类似DenseNet(因为加入了分组卷积,所以说是类似),第二部分是ResNeXt,对与中间的shortcut部分,由左右两部分的特征图经过1x1卷积相加,然后经过3x3卷积,和1x1的卷积(这就是resnet的shortcut部分),然后对获取的特征图分成两部分,一部分和左边类DenseNet对应特征图拼接,另一部分与右边ResNeXt的特征图进行相加 |
|
|
|
层 |
目的 |
特点 |
|
卷积层 |
池化层是CNN的重要组成部分,通过减少卷积层之间的连接,降低运算复杂程度 |
|
|
池化层 |
|
Lp 池化:Lp池化是建立在复杂细胞运行机制的基础上,受生物启发而来 |
|
|
|
混合池化:受随机Dropout [16] 和 DropConnect [28], Yu et al.启发而来 |
|
|
|
随机池化:随机循环 [30] 是受 dropout启发而来的方法 |
|
|
|
Spatial pyramid pooling:空间金字塔池化[26]可以把任何尺度的图像的卷积特征转化成相同维度,这不仅可以让CNN处理任意尺度的图像,还能避免 cropping和warping操作,导致一些信息的丢失,具有非常重要的意义 |
|
应用场景 |
应用模型 |
图像分类 |
|
物体检测 |
|
物体追踪 |
|
姿态估计 |
|
文本检测 |
|
视觉显著检测 |
|
动作识别和场景标签 |
|
加速训练进程
##问题
如何选择合适的超参数?比如学习率、卷积过滤的核大小、层数等等