1. 人工神经网络简介
1.1 概念
人工神经网络是一种模仿大脑神经元结构的连接主义，如下图所示。其中，节点模拟神经元，节点之间的边模拟神经元之间的突触。输入节点的值x与对应边的权重w相乘再累加当做输出节点的输入，输出节点包含一个激活函数f，由该函数决定输出节点是兴奋还是抑制，即输出y。
用公式具体定义如下：
1.2 发展历史
1943年，美国心理学家McCulloch和数学逻辑学家Pitts建立了神经网络和数学模型，称之为MP模型。他们证明了单个神经元具有执行逻辑的功能，从此开创了人工神经网络研究的时代。
1958年，美国心理学家Rosenblatt提出了感知器（perceptron）算法。感知器是最简单的神经网络，只有一个神经元，它在MP模型的基础上加入了权值，可以实现线性分类器的功能。此时兴起了神经网络的第一次研究热潮。
1969年，美国数学家Minsky分析了感知器的局限性，证明了感知器不能解决简单的异或问题，解决不了线性不可分问题。虽然当时人们认为多层的网络可以解决非线性问题，但在当时这个问题还不可解。
1986年，计算机学家Hinton等人提出误差反向传播算法，解决了两层感知器无法训练的问题，打破了单层感知器的局限性，使得多层神经网络进入实用阶段。人工神经网络又重新引起了人们的关注。
1995年，机器学习领域的统计学家Vapnik提出支持向量机（SVM），具有全局最优、调参简单和泛化能力强等优点，并且具有完善的理论支撑。在当时的一些诸如手写识别的问题上一举击败了其它各种浅层神经网络，迅速成为研究的主流。（此时人工神经网络所面临的问题有：层数过多导致梯度消失、局部最优、泛化能力不足，被认为过拟合、网络的理论研究不足，网络的层数和结构都不能用理论证明清楚、调参是一项经验活、参数过多计算能力不足）另外，到了21世纪初，随着随机森林和AdaBoost等方法的兴起，神经网络的研究热度又一次跌到低谷。
2006年，Hinton提出深度信念网络（DBN），实现了对深度网络的训练，并且在效果上优于SVM，这让许多研究者的目光重新回到了神经网络。
2012年，深度神经网络逐渐发展起来，卷积神经网络（CNN）得到广泛应用，深度学习（Deep Learning）兴起。
1.3 学科关系
在了解深度学习时，你绝对接触过这四个概念——人工智能（AI）、机器学习（ML）、神经网络（NN）、深度学习（DL），那么他们之间是怎样的关系呢。用数学里的包含关系可以简单的表示为下图。
人工智能是让机器实现原本只有人类才能完成的任务，它是为了模拟人的学习、思维、决策、行动等，它是目的，是结果；而机器学习、神经网络、深度学习都是实现目的的方法，是工具。
机器学习里面涉及到很多算法，随便找一本机器学习书籍，翻看一下它的目录，你就会看到无监督学习、有监督学习、分类、分割、聚类等概念，而人工神经网络只是机器学习中目前的一种优秀的算法。
其实，神经网络分为两类——人工神经网络和生物神经网络，而我们经常谈到的神经网络一般都是特指人工神经网络。下图很好的说明了人工神经网络与深度学习之间的关系。
深度学习是指神经网络的层数比较多，所以称为“深度”。值得一提的时，Deep Learning这个名字是由Hinton为多层神经网络想的一个新的名字，可能是因为他觉得神经网络这个名字在之前太不受学者待见了。