一文带你领略人工神经网络激荡70年

版权声明:本文为博主原创文章,未经允许,不得转载!欢迎留言,允许附带链接转载! https://blog.csdn.net/Sophia_11/article/details/86586967

↑ 点击上方【计算机视觉联盟】关注我们


M-P模型

  • 1943年神经元解剖学家McCulloch和数学天才Pitts发表文章提出神经元的数学描述和结构

  • 神经元遵循“全或无”原则

  • 证明了只要足够的简单神经元,在相互连接并同步运行的情况下,可以模拟任何计算函数

  • 开创工作被认为是人工神经网络的起点

                             640?wx_fmt=png
 

Hebb学习规则 

  •  1949年,生理学家Hebb出版了《行为组织学》,描述了神经元权值的Hebb调整规则

  • 提出“连接主义”

  • 引入“学习假说”,两个神经元之间重复激活,连接权值加强

  • 成为学习系统和自适应系统的灵感源泉

                                         640?wx_fmt=png

Rosenblatt感知器

  • 1957年,Rosenblatt提出感知器概念。掀起了神经网络研究第一次热潮

  • 提出感知器收敛定理

  • Widrow和Hoff引入最小均方误差准则(LMS)

  • 整个60年代,人们任务只要很多感知器连接在一起,就可以完成大脑的工作

                   640?wx_fmt=png
 

Minsky的打击 

  •  1969年,Minsky和Papert出版《感知器》。指出:单层感知器存在致命缺陷,简单的神经网络只能运用于线性问题的求解,连易或这样的问题都难以解决。求解非线性问题的网络应具有隐层,但理论上还不能证明感知器扩展到多层是有意义的。单层感知器的局限性在多层情况下也不能被完全解决。

  • Minsky是谁?MIT人工智能实验室联吅创始人,人工智能之父。美国科学院和美国工程院院士。他曾出任美国人工智能学会AAAI的第三任主席(1981-1982)。

  • 1969年图灵奖

                        640?wx_fmt=png
 

 形成了10年的低潮,唉

复兴时期!

  • 1982年,加州工学院物理学家JJ.Hopfield提出了Hopfield神经网络模型 

  • 1986年,Rumelhart, Hinton, Williams发展了BP算法(多层感知器的误差反向传播算法)

                               640?wx_fmt=png                  

 

深度学习的突破

Hinton2006年的SCIENCE革命性突破。基于深度置信网络DBN提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。

640?wx_fmt=png
640?wx_fmt=png

此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,利用空间相对关系减少参数数目以提高训练性能。

Yann LeCun 是AI尤其是DL最知名的学者,他是Hinton的博士后,发明了CNN。

2016年AlphaGo

......

2018年无人驾驶....

640?wx_fmt=gif

声明:本文来源于【计算机视觉联盟】

热文荐读

2018年12月精选文章目录一览

亲身经历2019年校招8个大厂心得体会,纯干货分享(大疆、百度...)

重磅!图森王乃岩团队最新工作—TridentNet:处理目标检测中尺度变化新思路
GANs最新综述论文: 生成式对抗网络及其变种如何有用【附pdf下载】
算法岗百里挑一热爆了,全球AI大厂薪酬大起底
史上最全!计算机科学领域顶会最佳论文大合集:微软研究院最多,清华排24 MIT的周博磊博士如何解释深度学习模型(附PPT)
【资源下载】512页IBM沃森研究员Charu最新2018著作《神经网络与深度学习》(附下载链接)
人工智能相关领域的国际顶尖会议介绍

640?wx_fmt=png

640?wx_fmt=gif

猜你喜欢

转载自blog.csdn.net/Sophia_11/article/details/86586967