【深度学习】CNN的发展历史、各项重要技术

发展历程：

leNet - AlexNet - VGG / GoogleNet - resNet

【leNet】1998

经典的5层网络：( 卷积 + tanh + 池化) * 2  + 全连接 120 + 全连接 84 + outPut 10 （MNIST）

首次使用卷积代替全连接。卷积：pattern匹配 、局部连接、参数共享、平移等变

引入了最大池化提取特征 2x2 ，少量平移不变性。

【AlexNet】2012 ImageNet

网络更深：5个卷积层 + 3个全连接层

四个网络重点：

1、使用非饱和神经元relu,代替sigmoid，速度快

2、双GPU

3、添加了归一化LRN（local response normalization，局部相应归一化）层，提高泛化能力。

4、pooling overlap

过拟合解决：

增强数据：反射，旋转

加入dropout

将图像分为上下两部分，全连接合并在一起

【VGG】 2014 ImageNet

提出3x3的卷积核，用更深的网络表达特征，

【GoogLeNet】2014 ImageNet 分类

引入Inception，加入了好多个inception层，同时使用了不同的卷积核，从加深到加宽。

用AvgPool去代替全连接层？。。。

【resNet】

解决梯度消失 、 梯度爆炸的问题。 之前的做法 BN， Relu

个人思考：

CNN是在空间上共享参数 、 RNN是在时间上共享参数

共享参数的条件： 结构相似，或者说是平移不变性。

局部连接 --> 一个点和附近的比较相关，和比较远的不太相关

不同size的卷积核 --> 不同大小的pattern

平移不变性 --> 金融数据一定没有， 要不要搞个weight