本系列笔记包括但不仅限于《深度学习》花书内容。
概述：
- 超参数：大部分学习算法都有超参数（必须在学习算法之外、用额外的数据（我们称之为验证集）来设定）。
- 机器学习的本质：属于应用统计学，涉及两种统计学的主要方法：频率派估计和贝叶斯推断。
- 机器学习算法的分类：监督学习和强化学习。其中监督学习按照数据有没有标签可以分为，有监督、无监督和半监督学习。有监督学习根据标签的类别又可以分为分类和回归两类。
- 深度学习算法的求解：大部分是通过随机梯度下降。
1、学习算法
- 机器学习算法的定义：Mitchell(1977)，对于某类任务T和性能度量P，一个计算机程序被认为可以从经验E中学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。
- 任务T：机器学习系统应该如何处理样本。怎么理解学习？学习过程本身不能算是任务，学习是获取完成任务的能力。怎么理解任务？例如，我们的目标是让机器人能够行走，行走便是任务。怎么理解样本？样本是指我们从某些希望机器学习系统处理的对象或事件中收集到的已经量化的特征的集合。
- 常见的机器学习任务（并非严格的分类，只是介绍能做哪些任务）：
- 分类：学习单个分类函数，指定某些输入属于K类中的哪一类。
- 输入缺失分类：输入可能丢失时，学习一组函数而不是一个来指定缺失的输入对应K类中的哪一类，常用于医疗诊断。
- 回归：对给定属于预测数值。除了返回结果的形式不一样外，回归和分类问题是很像的。
- 转录：观测一些相对非结构化表示的数据，并转录信息为离散的文本形式。例如，OCR识别，语音识别。
- 机器翻译：输入是一种语言的符号序列，输出是另一种语言的符号序列。
- 结构化输出：输出是向量或者其他包含多个值的数据结构，并且构成输出的这些不同元素间有重要关系。这个范畴很大，包含上述的转录和机器翻译，图像的像素级分割，为图像添加描述等。
- 异常检测：在一组事件或对象中筛选，并标记不正常或非典型的个体。例如信用卡欺诈检测，工业机器异常检测等。
- 合成和采样：输出是一些和训练数据相似的新样本。多用于媒体应用，例如视频游戏自动生成大型物体或风景的纹理，而不是让艺术家手动标记每个像素；又例如语音合成，这是一类结构化输出任务但是每个输入对应多个正确的输出。
- 缺失值填补：给定一个新样本，算法必须填补这些缺失值。
- 去噪：输入是干净样本经过为止损坏过程后的损坏样本。给定一个新的损坏样本，输出干净样本。
- 密度估计或概率质量函数估计：学习函数是样本采样空间的概率密度函数（如果样本是连续的）或者概率质量函数（如果样本是离散的），算法需要学习观测到的数据的结构，即什么情况下样本聚集出现，什么情况下不太可能出现。
- 性能度量P
- 经验E
2、容量、过拟合和欠拟合
3、超参和验证集：
- 训练集、验证集和测试集：训练集用来学习参数；验证集用来估计训练中或训练后的泛化误差，更新和挑选超参数；测试集用来估计学习过程完成后的学习器的泛化误差。测试集不以任何形式参与到模型的选择中，包括设计超参。
- 超参作用：控制算法的行为。超参数的值不是通过学习算法本身学习出来的，或者说超参不是通过训练集学习出来的。
4、交叉验证
- 交叉验证作用：当数据集规模较小，测试集不够大时，意味着平均测试误差估计的统计不准确，就很难判断算法的优劣。这时采用交叉验证的方式可以计算合理的平均测试误差，代价时增加了计算量。
- 交叉验证的过程：基于原始数据，随机采用或分离出不同的训练集、验证集、测试集，计算多次测试平均误差。最常见的时K-折交叉验证。
- 交叉验证存在的问题：不存在平均误差方差的无偏估计，通常采用近似来解决。