1 - 绪论

相关背景

• 深度学习

机器学习的一个分支，指一类问题及解决这类问题的方法。采用模型较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性组件（components）；

• 贡献度分配问题

Credit Assignment Problem，CAP，也叫做信用分配问题或功能分配问题，即深度学习中各组件为了得出最终结果所做贡献多少。十分关键，关系到如何学习每个组件中的参数。能较好解决这一问题的模型是人工神经网络（Artificial Neural Network，ANN）；

• ANN

简称神经网络，受人脑神经系统的工作方式启发而构造的一种数学模型，由人工神经元和神经元之间的连接构成，主要有两类特殊神经元：一是用于接收外部信息，二是用于输出信息；

人工智能

• 定义

让机器的行为看起来就像是人所表现出的智能行为；

• 图灵测试

一个人在不接触对方前提下，通过一种特殊方式与对方进行一系列问答。若在较长时间内，无法通过这些问题判断对方是人还是计算机，则认为这个计算机是智能的；

• 子学科

机器感知（计算机视觉、语音信息处理），学习（模式识别、机器学习、强化学习），语言（自然语言处理）、记忆（知识表示）、决策（规划、数据挖掘）等；

• 分类

  • 感知

  模拟人的感知能力，对外部刺激信息（视觉和语音等）进行感知与加工，主要研究领域包括语音信息处理和计算机视觉等；

  • 学习

  模拟人的学习能力，主要研究如何从样例或环境交互中进行学习，主要研究包括监督学习、无监督学习和强化学习等；

  • 认知

  模拟人的认知能力，主要研究领域包括知识表示、自然语言理解、推理、规划、决策等；

• 专家系统（Expert System）

基于知识的系统，必须具备三要素：

1. 领域专家级知识；

2. 模拟专家思维；

3. 达到专家级的水平；

• 流派分别

  • 符号主义（Symbolism）

  又称逻辑主义、心里学派或计算机学派，通过分析人类智能的功能，然后通过计算机来实现这些功能，具有极强的可解释性。主要有两个基本假设：

  1. 信息可以用符号来表示；

  2. 符号可以通过显式规则来操作；

  • 连结主义（Connectionism）

  又称仿生学派或生理学派，是认知科学领域中的一类信息处理的方法和理论。模型的主要结构是由大量简单的信息处理单元组成的互联网络，具有非线性、分布式、并行性、局部性计算以及适应性等特性；

神经网络

• 定义

指由很多人工神经元构成的网络结构模型，人工神经元间的连接强度是可学习的参数；

• 发展阶段

  • 模型提出

  • 冰河期

  • 反向传播算法引起的复兴

  • 流行度降低

  • 深度学习的崛起

机器学习

• 定义

指从有限观测数据中学习（或“猜测”）出具有一般性的规律，并将其应用到未观测样本上的方法；

• 数据处理流程

  • 数据预处理：经过数据预处理，如去噪声等；

  • 特征提取：从原始数据中心提取有效特征；

  • 特征转换：对特征进行一定加工，如降维（特征抽取和特征选择）和升维；常用方法有：主成分分析（Principal components analysis，PCA）、线性判别分析（Linear Discriminant Analysis）等；

  • 预测：核心部分，学习一个函数进行预测；

[外链图片转存失败(img-Ah9ZHGO7-1566198019735)(https://i.loli.net/2019/08/18/9QgqyRxwKDdvI5l.png)]

表示学习

• 语义鸿沟（Semantic Gap）

表示学习的关键，指输入数据的底层特征和高层语义信息之间的不一致性和差异性；

• 一个好的表示的优点

  • 具有很强的表示能力，即同样大小的向量可以表示更多信息；

  • 使后续的学习任务变得简单，即需要包含更高层的语义信息；

  • 具有一般性，使任务或领域独立的；

• 局部表示和分布式表示

  • 局部表示

  也叫离散表示或符号表示，通常表示为one-hot向量的形式，但主要有两个不足之处；

  1. one-hot向量维数很高，且不能扩展；

  2. 不同颜色之间的性四度都为0,；

  • 分布式表示

  表示为低维的稠密向量，表示能力比局部表示强；

• 嵌入

使用神经挽留过将高维的局部表示空间 $R^{|V|}$映射到一个非常低维的分布式表示空间 $R^d,d<<|V|$。指将一个度量空间中的一些对象映射到另一个地位的度量空间中，并尽可能保持不同对象间的拓扑关系，如NLP中词的分布式表示，叫做词嵌入；

## 深度学习

• 定义

“深度”指原始数据进行非线性特征转换的次数，一种学习方法可以从数据中心学习一个“深度模型”，则为深度学习；

• 深度学习数据处理流程

  [外链图片转存失败(img-MxKJY1MP-1566198019736)(https://i.loli.net/2019/08/19/R32JYqU5eWD1Ofx.png)]

  • 贡献度分配问题CAP

  深度学习中的关键问题，即一个系统中不同组件或其参数对最终系统输出结果的贡献或影响；

• 端到端学习（End-to-End Learning）

指在学习过程中不进行分模块或分阶段进行训练，直接优化任务的总体目标；

• 常用的深度学习框架

  • Theano

  • Caffe

  • TensorFlow

  • Pytorch

  • Keras

## 全书组织架构

• 机器学习

  • 监督学习

  • 无监督学习

  • 强化学习

• 神经网络

  • 前馈神经网络

  • 卷积神经网络

  • 循环神经网络

• 概率图模型

  • 玻尔兹曼机

  • 深度信念网络

  • 概率生成模型

    • 深度生成模型

    • 序列生成模型