第一章 引言
深度学习是机器学习的一种方法，它大量借鉴了关于人脑、统计学和应用数学的知识。
-
使用机器学习来发掘表示本身，而不仅仅把表示映射到输出，这种方法称之表示学习（representation learning）。学习到的表示往往比手动设计的表示表现得更好。
-
当设计特征货设计用于学习特征的算法时，我们的目标通常是分离出能解释观察数据的变差因素(factors of variation)。例如：当分析语音记录时，变差因素包括说话者的年龄、性别、他们的口音和他们正在说的词语。
-
在许多显示的AI应用中，困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据。例如：在一张包含红色汽车的图片中，其单个像素在夜间可能会非常接近黑色
-
深度学习(deep learning)让计算机通过简单的概念构建复杂的概念。解决了表示学习中的核心问题。
-
深度学习模型的电信例子是前馈深度网络或者多层感知机(multilayer perceptron,MLP)。MLP仅仅是一个将一组输入值映射到输出值的数学函数，它由许多较简单的函数复合而成。我们可以认为不同数学函数的每次应用都为输入提供了新的表示。
-
2种主要度量模型深度的方式
- 基于评估架构所需执行的顺序指令的数目（流程图的最长路径）。
- 深度概率模型中使用的方法，描述概念彼此如何关联的图的深度。例如：一个AI系统观察脸部图像（其中一个眼睛在阴影中）。它最初可能只看到一致眼睛。但当检测到脸部的存在后，AI系统可以推断第二只眼睛也可能存在。此时，概念的图仅包括2层（关于眼睛的层和关于脸的层）
-
相比传统ML，DL学习研究的模型设计更多学到功能 或 学到概念 的组合
-
DL是一种能够使计算机系统从经验和数据中得到提高的技术。它将大千世界表示为嵌套额层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）
上图说明了不同AI学科之间的关系。DL既是一种表示学习，也是一种ML。
上图说明了每个学科如何工作的高此次原理。流程图展示了AI系统的不同部分如何在不同的AI学科中彼此相关。阴影框表示能从数据中学习的组件。
- 深度学习经历了3次发展浪潮
-
20世纪40-60年代，控制论(cybernetics)。
-
20世纪80-90年代，联结主义(connectionism)。
- 联结主义或并行分布处理(parallel distributed processin)是在认知科学背景下出现的。认知科学是理解思维的跨学科途径，它融合了多个不同的分析层次。
- 联结主义的中心思想是：当网络将大量简单的计算单元连接在一起时可以实现智能行为。
- 联结主义的主要见解之一：当动物的许多神经元一起工作时会变得聪明。而单独神经元或小集合的神经元不是特别有用。
-
2006年，深度学习出现。
-
“深度信念网络”的神经网络可以使用一种称为“贪婪逐层训练”的策略来有效地训练。同样的策略可以被用来训练许多其他类型的深度网络，并能系统地提高在测试样例上的泛化能力。
- 一个粗略的经验，监督深度学习算法在每类给定约5000个标注样本（有分类标签）情况下一般将达到可以接受的性能，当至少有1000万个标注样本的数据集用于训练时，它将达到或超过人类表现。
- 自从隐藏但与引入依赖，人工神经元的规模大约每2.4年扩大一倍。
- 深度学习在图像对象识别，语音识别，行人检测和图像分割中都取得了成功。并且在交通标志分类上取得了超越人类的表现。 - 循环神经网络用于对序列和其他序列之间的关系进行j建模，它不是仅仅固定输入之间的关系。应用领域：机器翻译。
- 神经图灵机的引入，能学习读取存储单元和向存储单元写入任意内容。它可以从期望行为的样本中学习建档的程序，例如：排序。应用领域：自我编程。
- 强换学习(reinforcement learning)领域的扩展，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。它显著改善了机器人强化学习的性能。了例如：学会玩游戏，并可与人类匹敌。
- DL相关软件基础架构
- Theano
- PyLearn2
- Torch
- Caffe
- MXNet
- TensorFlow
