深度学习(deep learning)通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。

深度学习让计算机通过较简单的概念构建复杂的概念。图1.2展示了深度学习系统如何通过组合较简单的概念(例如角和轮廓，它们反过来由边线定义)来表示图像中人的概念。深度学习模型的典型例子是前馈深度网络或多层感知机(multilayer perceptron,MLP)。多层感知机仅仅是一个将一组输入值映射到输出值的数学函数。该函数由许多较简单的函数复合而成。我们可以认为不同数学函数的每一次应用都为输入提供了新的表示。

学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序。每一层表示都可以被认为是并行执行另一组指令之后计算机的存储器状态。更深的网络可以按顺序执行更多的指令。顺序指令提供了极大的能力，因为后面的指令可以参考早期指令的结果。从这个角度上看，在某层激活函数里，并非所有信息都蕴涵着解释输入的变差因素。表示还存储着状态信息，用于帮助程序理解输入。这里的状态信息类似于传统计算机程序中的计数器或指针。它与具体的输入内容无关，但有助于模型组织其处理过程。

最佳深度学习书5本推荐给你

图1.2　深度学习模型的示意图。
计算机难以理解原始感观输入数据的含义，如表示为像素值集合的图像。将一组像素映射到对象标识的函数非常复杂。如果直接处理，学习或评估此映射似乎是不可能的。深度学习将所需的复杂映射分解为一系列嵌套的简单映射(每个由模型的不同层描述)来解决这一难题。输入展示在可见层(visible layer)，这样命名的原因是因为它包含我们能观察到的变量。然后是一系列从图像中提取越来越多抽象特征的隐藏层(hidden layer)。因为它们的值不在数据中给出，所以将这些层称为“隐藏层”;模型必须确定哪些概念有利于解释观察数据中的关系。这里的图像是每个隐藏单元表示的特征的可视化。给定像素，第1层可以轻易地通过比较相邻像素的亮度来识别边缘。有了第1隐藏层描述的边缘，第2隐藏层可以容易地搜索可识别为角和扩展轮廓的边集合。给定第2隐藏层中关于角和轮廓的图像描述，第3隐藏层可以找到轮廓和角的特定集合来检测特定对象的整个部分。最后，根据图像描述中包含的对象部分，可以识别图像中存在的对象(经Zeiler and Fergus(2014)许可引用此图)

目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后，计算对应输出的流程图，则可以将这张流程图中的最长路径视为模型的深度。正如两个使用不同语言编写的等价程序将具有不同的长度，相同的函数可以被绘制为具有不同深度的流程图，其深度取决于我们可以用来作为一个步骤的函数。图1.3说明了语言的选择如何给相同的架构两个不同的衡量。

最佳深度学习书5本推荐给你

图1.3　将输入映射到输出的计算图表的示意图，其中每个节点执行一个操作。

深度是从输入到输出的最长路径的长度，但这取决于可能的计算步骤的定义。这些图中所示的计算是逻辑回归模型的输出，σ(wTx)，其中σ是logistic sigmoid函数。如果使用加法、乘法和logistic sigmoid作为计算机语言的元素，那么这个模型深度为3；如果将逻辑回归视为元素本身，那么这个模型深度为1

另一种是在深度概率模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。在这种情况下，计算每个概念表示的计算流程图的深度可能比概念本身的图更深。这是因为系统对较简单概念的理解在给出更复杂概念的信息后可以进一步精细化。例如，一个AI系统观察其中一只眼睛在阴影中的脸部图像时，它最初可能只看到一只眼睛。但当检测到脸部的存在后，系统可以推断第二只眼睛也可能是存在的。在这种情况下，概念的图仅包括两层(关于眼睛的层和关于脸的层)，但如果我们细化每个概念的估计将需要额外的n次计算，那么计算的图将包含2n层。

由于并不总是清楚计算图的深度和概率模型图的深度哪一个是最有意义的，并且由于不同的人选择不同的最小元素集来构建相应的图，所以就像计算机程序的长度不存在单一的正确值一样，架构的深度也不存在单一的正确值。另外，也不存在模型多么深才能被修饰为“深”的共识。但相比传统机器学习，深度学习研究的模型涉及更多学到功能或学到概念的组合，这点毋庸置疑。

总之，这本书的主题——深度学习是通向人工智能的途径之一。具体来说，它是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。我们坚信机器学习可以构建出在复杂实际环境下运行的AI系统，并且是唯一切实可行的方法。深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系(由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示)。图1.4说明了这些不同的AI学科之间的关系。图1.5展示了每个学科如何工作的高层次原理。

最佳深度学习书5本推荐给你

图1.4　维恩图展示了深度学习既是一种表示学习，也是一种机器学习，可以用于许多(但不是全部)AI方法。维恩图的每个部分包括一个AI技术的实例

最佳深度学习书5本推荐给你

图1.5　流程图展示了AI系统的不同部分如何在不同的AI学科中彼此相关。阴影框表示能从数据中学习的组件

深度学习书单

１、深度学习 [deep learning]

最佳深度学习书5本推荐给你

AI圣经！深度学习领域奠基性的经典畅销书！
长期位居美国ya马逊AI和机器学习类图书榜首！
所有数据科学家和机器学习从业者的bi读图书！
特斯拉CEO埃隆·马斯克等国内外众多专家推jian！

本书囊括了数学及相关概念的背景知识，包括线性代数、概率论、信息论、数值优化以及机器学习中的相关内容。同时，它还介绍了工业界中实践者用到的深度学习技术，包括深度前馈网络、正则化、优化算法、卷积网络、序列建模和实践方法等，并且调研了诸如自然语言处理、语音识别、计算机视觉、在线推荐系统、生物信息学以及视频游戏方面的应用。最后，本书还提供了一些研究方向，涵盖的理论主题包括线性因子模型、自编码器、表示学习、结构化概率模型、蒙特卡罗方法、配分函数、近似推断以及深度生成模型。

２、动手学深度学习

最佳深度学习书5本推荐给你

目前市面上有关深度学习介绍的书籍大多可分两类，一类侧重方法介绍，另一类侧重实践和深度学习工具的介绍。本书同时覆盖方法和实践。本书不仅从数学的角度阐述深度学习的技术与应用，还包含可运行的代码，为读者展示如何在实际中解决问题。为了给读者提供一种交互式的学习体验，本书不但提供免费的教学视频和讨论区，而且提供可运行的Jupyter记事本文件，充分利用Jupyter记事本能将文字、代码、公式和图像统一起来的优势。这样不仅直接将数学公式对应成实际代码，而且可以修改代码、观察结果并及时获取经验，从而带给读者全新的、交互式的深度学习的学习体验。
本书面向希望了解深度学习，特别是对实际使用深度学习感兴趣的大学生、工程师和研究人员。本书不要求读者有任何深度学习或者机器学习的背景知识，读者只需具备基本的数学和编程知识，如基础的线性代数、微分、概率及Python编程知识。本书的附录中提供了书中涉及的主要数学知识，供读者参考。

３、PyTorch深度学习

最佳深度学习书5本推荐给你

本书对当今前沿的深度学习库PyTorch进行了讲解。凭借其易学习性、高效性以及与Python开发的天然亲近性，PyTorch获得了深度学习研究人员以及数据科学家们的关注。本书从PyTorch的安装讲起，然后介绍了为现代深度学习提供驱动力的多个基础模块，还介绍了使用CNN、RNN、LSTM以及其他网络模型解决问题的方法。本书对多个先进的深度学习架构的概念（比如ResNet、DenseNet、Inception和Seq2Seq）进行了阐述，但没有深挖其背后的数学细节。与GPU计算相关的知识、使用PyTorch训练模型的方法，以及用来生成文本和图像的复杂神经网络（如生成网络），也在本书中有所涵盖。
学完本书后，读者可以使用PyTorch轻松开发深度学习应用程序。

本书内容：
在GPU加速的张量计算中使用PyTorch；
为图像自行创建数据集和数据装载器，然后使用torchvision和torchtext测试模型；
使用PyTorch来实现CNN架构，从而构建图像分类器；
使用RNN、LSTM和GRU开发能进行文本分类和语言建模的系统；
学习的CCN架构（比如ResNet、Inception、DenseNet等），并将其应用在迁移学习中；
学习如何混合多个模型，从而生成一个强大的集成模型；
使用GAN生成新图像，并使用风格迁移生成艺术图像。

４、深度学习案例精粹

最佳深度学习书5本推荐给你

python深度学习机器学习教程
机器学习实战，Tensorflow实战教程，Tensorflow自然语言处理
Python从入门到实践

本书主要讲述了深度学习中的重要概念和技术，并展示了如何使用TensorFlow实现高级机器学习算法和神经网络。本书首先介绍了数据科学和机器学习中的基本概念，然后讲述如何使用TensorFlow训练深度学习模型，以及如何通过训练深度前馈神经网络对数字进行分类，如何通过深度学习架构解决计算机视觉、语言处理、语义分析等方面的实际问题，最后讨论了高级的深度学习模型，如生成对抗网络及其应用。