第一章 引言
1.总体介绍
在人工智能的早期，那些对人类智力来说非常困难、但对计算机来说相对简单的问题得到迅速解决，比如，那些可以通过一系列形式化的数学规则来描述的问题。人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务，如识别人们所说的话或图像中的脸。对于这些问题，我们人类往往可以凭借直觉轻易地解决。
让计算机从经验获取知识，可以避免由人类来给计算机形式化地指定它需要的所有知识。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张 ‘‘深’’（层次很多）的图。基于这个原因，我们称这种方法为 AI 深度学习（deep learning）。
讽刺的是，抽象和形式化的任务对人类而言是最困难的脑力任务之一，但对计算机而言却属于最容易的。计算机早就能够打败人类最好的象棋选手，但直到最近计算机才在识别对象或语音任务中达到人类平均水平。一个人的日常生活需要关于世界的巨量知识。很多这方面的知识是主观的、直观的，因此很难通过形式化的方式表达清楚。计算机需要获取同样的知识才能表现出智能。人工智能的一个关键挑战就是如何将这些非形式化的知识传达给计算机。
人工智能非形式话知识表示总体上经历了硬编码->机器学习 -> 表示学习 -> 深度学习四个阶段。每个阶段的代表产品如下：
1. 硬编码： 知识库
2. 机器学习：提取合适特征集，将其提供给合适的机器学习算法
3. 表示学习： 自编码器
3. 深度学习：如前馈深度网络或多层感知机MLP
因此产生了不同的AI学科，如下图所示：
其中用一个实例帮助理解深度学习的学习过程。深度学习从第一层到最后一层，特征提取从具体到抽象，如下图所示：
2. 本书面向的读者
略
3. 深度学习历史趋势
深度学习的关键趋势：
1. 深度学习不是最近才产生的，很早就有蕴含深度学习思想的、其他名称的“深度学习”；
2. 随着时间的推移，数据规模的增加，计算能力的提高，深度学习逐渐可行且效果优异；
1. 神经网络的众多名称和命运变迁
总结如下表：
| 阶段 | 名称 | 备注 |
|---|---|---|
| 20 世纪 40 年代到 60 年代 | 控制论 | 神经科学背景下产生，典型产物：自适应线性单元；随机梯度下降算法 |
| 20 世纪 80 年代到 90 年代 | 联结主义/并行分布处理 | 认知科学背景下产生，典型产物：分布式表示；反向传播 |
| 2006年以来 | 深度学习 | 2016突破：深度信念网络 |
2. 与日俱增的数据量
随着训练数据的增加，深度学习所需的技巧正在减少。目前一个大趋势是：基准数据集的大小随着时间的推移而显著增加。
截至 2016 年，一个粗略的经验法则是，监督深度学习算法在每类给定约 5000 个标注样本情况下一般将达到可以接受的性能，当至少有 1000 万个标注样本的数据集用于训练时，它将达到或超过人类表现。此外，在更小的数据集上获得成功是一个重要的研究领域，为此我们应特别侧重于如何通过无监督或半监督学习充分利用大量的未标注样本。
3. 与日俱增的模型规模
最初，人工神经网络中神经元之间的连接数受限于硬件能力。而现在，神经元之间的连接数大多是出于设计考虑。一些人工神经网络中每个神经元的连接数与猫一样多，并且对于其他神经网络来说，每个神经元的连接与较小哺乳动物（如小鼠）一样多是非常普遍的。甚至人类大脑每个神经元的连接也没有过高的数量。
就神经元的总数目而言，直到最近神经网络都是惊人的小。自从隐藏单元引入以来，人工神经网络的规模大约每 2.4 年扩大一倍。这种增长是由更大内存、更快的计算机和更大的可用数据集驱动的。更大的网络能够在更复杂的任务中实现更高的精度。这种趋势看起来将持续数十年。除非有能力迅速扩展的新技术，否则至少要到 21 世纪 50 年代，人工神经网络将才能具备与人脑相同数量级的神经元。
现在看来，其神经元比一个水蛭还少的神经网络不能解决复杂的人工智能问题是不足为奇的。即使现在的网络，从计算系统角度来看它可能相当大的，但实际上它比相对原始的脊椎动物如青蛙的神经系统还要小。
4. 与日俱增的精度、复杂度和对现实世界的冲击
- 模型日益复杂并达到惊人的精度；
- 应用更加广泛，对图像处理、语音识别、行人检测、机器翻译等均有重大影响，这种复杂性日益增加的趋势已将其推向逻辑结论，即神经图灵机 (Graves et al.,2014) 的引入；
- 强化学习领域的扩展
- 。。。