人工智能系列 之常见的深度学习模型

*LeNet:
Yann LeCun的mnist手写体识别任务。
在这里插入图片描述

*AlexNet:
Alex Krizhevsky发表,在2012年ImageNet ILSVRC比赛中夺冠,使用ReLU作为激活函数,使用Dropout避免过拟合。
在这里插入图片描述

*CaffeNet:
由Zeiler和Fergus于2013年提出,在2013年的ILSVR中夺冠,是AlexNet的变体,主要改进是:减少第一层卷积的size和stride(11–>7,4–>2),提取更多的底层特征;增加第二层卷积的步长stride(1–>2),从而获得和AlexNet基本相同的感受野。

*GooleNet:
Szegedy提出,他开始追求减少DNN的计算量,在2014年的ILSVR中夺冠,是第一个Inception架构,Inception思路是减少每一层特征滤波器的数目,使网络更宽,它会并行的计算同一输入映射下的多个不同变换,并将结果连接到单一个输出,如在V3中5×5的卷积被替换成两个连续的3×3的卷积。
在这里插入图片描述

*VGGNet:
牛津视觉几何组开发的CNN,在2014年的ILSVR中夺得亚军,其特点是网络更深,channel数目更大,重复使用3x3卷积和2x2池化增加网络深度,采用多个3×3的卷积核,模仿出更大的感受野效果。

*ResNet:
作者是何恺明,在2015年的ILSVR中夺冠,他发现直接映射难以学习,利用公式F(x)=H(x)-x让网络变得更深,防止梯度弥散等问题的发生。
在这里插入图片描述

*SENet:
在2017年的ILSVR中夺冠,卷积操作融合了空间和特征通道信息,是SE block和Residual block的应用。

补充:
ILSVRC(ImageNet Large Scale Visual Recognition Challenge)是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一,代表了图像领域的最高水平。

参考
[1]LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
[2]Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
[3]Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. springer, Cham, 2014: 818-833.
[4]Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.
[5]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.
[6]Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 7132-7141.

猜你喜欢

转载自blog.csdn.net/langxiaolin/article/details/113476580