【深度学习笔记】机器学习分类

一、浅层学习

关注点：预测模型（函数）
一般需要首先将数据表示为一组特征,特征的表现形式一般有连续的数值、离散的符号。
特征将被输入到预测模型，由模型输出预测结果。
浅层学习的一个重要特点是不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。
浅层学习模型一般会包含以下几个步骤：
原始数据→特征提取→特征转换→预测→结果

二、表示学习

为提高机器学习系统的准确率，需要将输入信息转换为有效的特征，或者更一般的称为表示。如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习称为表示学习。

关注点：语义鸿沟
语义鸿沟指输入数据的底层特征和高层语义信息之间的不一致性和差异性。
比如给定一些关于“车”的图片，由于图片中每辆车的颜色和形状等属性都不尽相同，因此不同图片在相素级别上（即底层特征）的表示差异性会非常大，但是我们理解这些图片是建立在比较抽象的高层语义概念上的。
核心问题：什么是一个好的表示？如何学习到好的表示？

局部表示学习

局部表示又称离散表示或符号表示，通常表示为one-hot向量的形式。（one-hot向量是在数字电路中的一种状态编码，是只有一个元素为1，其余元素都为0的向量）
局部表示的优点：

离散的表示方式具有很好的解释性
通过多种特征组合得到的表示向量通常是稀疏的二值向量，用于线性模型时计算效率非常高。
局部表示的缺点：
one-hot向量的维数很高，且不能扩展
不同类别之间的相似度为0（因为我们将不同类别的1都表示在了不同的维度上，无法考察它们间的相似性）

分布式表示学习

分布式表示通常采用低维的稠密向量。例如表示颜色的RGB值。
分布式表示很好的解决了局部表示的缺点。

我们可以用神经网络来将高维的局部表示空间 $R^{|\nu|}$ 映射到一个非常低维的分布式表示空间 $R^D$ , $D\ll|\nu|$ 。这个过程称为嵌入。嵌入需要尽可能保持不同对象之间的拓扑关系。
在高维的局部表示空间中，每个特征都位于坐标轴上，在低维嵌入空间中，每个特征都不在坐标轴上，特征之间可以计算相似度。

三、深度学习

深度学习（Deep Learning，DL）顾名思义，是一种具有深度的机器学习模型。所谓深度是指原始数据进行非线性特征转换的次数。
如果把一个表示学习系统看做一个有向图结构，深度也可以看作从输入结点到输出结点所经过的最长路径的长度。

关注点：深度模型
核心问题：贡献度分配问题（一般采用神经网络模型，利用误差反向传播算法解决该问题）

端到端学习

指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。
其需要解决的问题亦为贡献度分配问题。
目前，大部分采用神经网络的深度学习也可以看作一种端到端的学习。