深度学习是机器学习的一个特定的分支。所以先总结机器学习的相关知识点。
学习的定义：Mitchell (1997) ：对于某类任务 T 和性能度量P，一个计算机程序被认为可以从经验E 中学习是指，通过经验E 改进后，它在任务 T 上由性能度量P 衡量的性能有所提升。
T 通常机器学习任务定义为机器学习系统该如何处理样本 (example)。样本是指我们从某些希望机器学习系统处理的对象或事件中收集到的已经量化的特征 (feature)的集合。我们通常会将样本表示成一个向量 x ∈ R n ，其中向量的每一个元素 x i 是一
个特征。例如，一张图片的特征通常是指这张图片的像素。
P 通常性能度量P 是特定于系统执行的任务 T 而言的。就分类问题来讲，准确率和错误率是常见的度量准则。准确率是指该模型输出正确结果的样本比例。错误率是指该模型输出错误结果的样本比例。
E 根据学习过程中的不同经验，机器学习算法可以大致分类为无监督 (unsupervised) 和监督 (supervised)。无监督学习算法 (unsupervised learning algorithm) 训练含有很多特征的数据集，然后学习出这个数据集上有用的结构性质。监督学习算法 (supervised learning algorithm) 训练含有很多特征的数据集，不过数据集中的样本都有一个标签 (label) 或目标 (target)。
| 无监督学习 | 无标签 | 聚类 | 降维 | 先聚类后定性 | 非独立数据更适合 | 可解释 | 可拓展 |
| 有监督学习 | 有标签 | 分类 | 同维 | 分类同时定性 | 独立数据更适合 | 不透明 | 不可轻易拓展 |
在选择模型是有监督学习还是无监督学习时需要注意：①特征值是离散变量还是连续变量；②特征值是否有缺失项；③若有缺失的特征值判定是哪种原因造成的；④某个特征发生的频率如何。
泛化：在先前未观测到的输入上表现良好的能力。
在训练集上计算一些度量误差，被称为训练误差 (training error)。
泛化误差（也称测试误差）被定义为新输入的误差期望。
决定机器学习算法效果是否好的因素：
1. 降低训练误差；
2. 缩小训练误差和测试误差的差距。
这两个因素对应机器学习的两个主要挑战：欠拟合 (underfitting) 和过拟合 (overfitting)。欠拟合发生于模型不能在训练集上获得足够低的误差。过拟合发生于训练误差和和测试误差之间的差距太大。