深度学习CNN发展大事件一览

阅读全文请点击

深度学习(DeepLearning)尤其是卷积神经网络(CNN)作为近几年来模式识别中的研究重点,受到人们越来越多的关注,相关的参考文献也是层出不穷,连续几年都占据了CVPR的半壁江山,但是万变不离其宗,那些在深度学习发展过程中起到至关重要的推动作用的经典文献依然值得回味,这里依据时间线索,对CNN发展过程中出现的一些经典文献稍作总结,方便大家在研究CNN时追本溯源,在汲取最新成果的同时不忘经典。

首先这里给出CNN在发展过程中的一些具有里程碑意义的事件和文献:

image


对于CNN最早可以追溯到1986年BP算法的提出,然后1989年LeCun将其用到多层神经网络中,直到1998年LeCun提出LeNet-5模型,神经网络的雏形完成。在接下来近十年的时间里,卷积神经网络的相关研究趋于停滞,原因有两个:一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大,当时的硬件计算能力完全不可能实现;二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。2006年,Hinton终于一鸣惊人,在《科学》上发表文章,CNN再度觉醒,并取得长足发展。2012年,ImageNet大赛上CNN夺冠,2014年,谷歌研发出20层的VGG模型。同年,DeepFace、DeepID模型横空出世,直接将LFW数据库上的人脸识别、人脸认证的正确率刷到99.75%,几乎超越人类。2015年深度学习领域的三巨头LeCun、Bengio 、Hinton联手在Nature上发表综述对DeepLearning进行科普。2016年3月阿尔法狗打败李世石,2016年4月我在写这篇博文。

一、1986年~1998年

这段时间里是CNN的雏形阶段,主要包括BP算法的提出、BP算法在多层神经网络模型中的应用、LeNet-5模型的正式定型。

1.1 BP算法的提出

BP算法是在1986年由Rumelhart在《Learning Internal Representations by Error Propagation》一文中提出,如果你的论文中提到了BP算法,那这篇文章似乎是非引用不可的,它目前的引用量是19043次:

image

1.2 基于BP算法的CNN雏形

在BP算法提出3年之后,嗅觉敏锐的LeCun选择将BP算法用于训练多层卷积神经网络来识别手写数字,这可以说是CNN的雏形,具体参见文章《Backpropagation applied to handwritten zip code recognition》,这是卷积神经网络这一概念提出的最早文献,目前应用量为1594次:

image


猜你喜欢

转载自blog.csdn.net/a52654/article/details/80898197