深度学习简史
从机器学习流派说起
如果要给机器学习划分流派的话，初步划分可以分为『归纳学习』和『统计学习』两大类。所谓『归纳学习』，就跟我们平时学习所用的归纳法差不多，也叫『从样例中学习』。
归纳学习又分为两大类，一类是像我们归纳知识点一样，把知识分解成一个一个的点，然后进行学习。因为最终都要表示成符号，所以也叫做『符号主义学习』；另一类则另辟蹊径，不关心知识是啥，而是模拟人脑学习的过程，人脑咋学咱们就照着学。这类思路模拟人的神经系统，因为人的神经网络是连接在一起的，所以也叫『连接主义学习』。
『统计学习』，则是上世经90年代才兴起的新学派。是一种应用数学和统计学方法进行学习的新思路。就是我既不关心学习的内容，也不是模拟人脑，而主要关心统计概率。这是一种脱离了主观，基本全靠客观的方式。
连接主义学派
连接主义学派的初心是模拟人脑的学习方式。
我们先从生理课的知识说起，先看看人脑最基本的组成部分 - 神经元。
如上图所示，
一个神经元由三个主要部分组成：中间是细胞体，细胞体周围有若干起接收信号作用的树突，还有一条长长的轴突，用于将信号传导给远处的其他细胞。
神经细胞收到所有树突传来的信号之后，细胞体会产生化学反应，决定是否通过轴突输出给其他细胞。
比如皮肤上的感觉细胞接受了刺激之后，将信号传给附近的神经细胞的树突。达到一定强度之后，神经细胞会通过轴突传递给下一个神经细胞，一直传递到大脑。大脑做出反应之后，再通过运动神经元的轴突去刺激肌肉去进行反应。
这其中值得一提的是赫布理论。这是加拿大心理学家赫布在1949年出版的《行为组织学》中提出的，其内容是：如果一个神经元B在另一个神经元A的轴突附近，并且受到了A的信号的激活，那么A或B之一就会产生相应的增长变化，使得这个连接被加强。
这一理论一直到51年以后的2000年，才由诺贝尔医学奖得主肯德尔的动物实验所证实。但是在被证实之前，各种无监督机器学习算法其实都是赫布规则的一个变种。在被证明之前，就被广泛使用了。
M-P神经元模型
在赫布原理提出6年前的1943年，虽然这时候电子计算机还没有被发明出来，距离我们的伟大偶像阿兰.图灵研究出来『图灵机测试』也还有3年时间，有两位传奇人物麦卡洛可和皮茨就发表了用算法模拟神经网络的文章。那一年，少年天才皮茨只有20岁！皮茨同学是个苦出身，15岁因为父亲让他退学，他一怒之下离家出走。那时候，他已经读完了罗素的《数学原理》这样一本大学教材。罗素后来把皮茨推荐给了著名哲学家，维也纳学派的代表人物卡尔纳普。后面我们讲归纳学习和归纳逻辑时还会说过卡尔纳普。卡尔纳普就把自己的哲学著作《语言的逻辑句法》送给初中生皮茨看，结果皮茨不过一个月就看完了。于是卡尔纳普惊为天人，请皮茨到芝加哥大学。。。打扫厕所！
后来，医生兼神经科学家麦卡洛可研究神经学需要一个懂数学的合作者，于是就选了17岁的清洁工皮茨。后来他们成为控制论创始人维纳的学生。后来因为被造谣陷害，皮茨跟维纳闹翻，46岁就英年早逝了。
神经网络的基础至今仍然是麦卡洛可和皮茨提出的模型，简称M-P模型。
感知机 - 人工神经网络的第一次高潮和低谷
1954年，IBM推出了IBM704计算机，并且有Fortran这样的算法语言。4年后， 1958年，康奈尔大学实验心理学家弗兰克.罗森布拉特根据M-P模型实现了第一个人工神经网络模型-感知机。
感知机的提出，使人类有了第一种可以模拟人脑神经活动的模型，迅速引起轰动。迎来了人工神经网络的第一个高潮。