文章目录
Lecture 3:Type of Learning
Learning with Different Output Space Y \mathcal Y Y
上个Lecture介绍的银行根据个人信息判断是否发卡的问题，是一个二分类问题
多元分类（multiclass classification）
除了二分类，还有多元分类问题，也就是输出多于2个 y = { 1 , 2 , . . . , K } , K > 2 y=\{1,2,...,K\},K>2 y={
1,2,...,K},K>2,应用举例：手写数字识别，图片内容识别等
回归问题（regression）
以在医院当中应用为例，二分类可能会用于判断病人是否生病；多分类可能会用于判断病人患的是哪一种癌症。这些问题的输出都是离散值。
但是如果要预测病人过多长时间可以出院，输出的应该是距离出院的剩余时间，输出范围是实数空间，或者是有上下界的范围，是连续的。这种问题称作回归（Regression）.
结构化学习（structured learning）
比如在自然语言处理中，输入一句英文，输出是这个句子中每个单词的词性。输入的句子是包含某种结构在内的，其输出空间也包含了某种结构。
这种问题的一些解法都是从多类别的分类问题延伸出来的，这门课不会详细介绍这类问题
总结
这一部分介绍了按照输出空间对机器学习进行分类，包括二元分类、多元分类、回归、结构化学习以及其他类别，其中最核心的两种是二分类和回归。
Learning with Different Data Label y n y_n yn
监督学习（supervised learning）
以之前提到的按照硬币重量和尺寸进行分类为例
如果在训练集中给出的样本的标签（硬币的种类），那么这种类型的学习成为监督式学习，可以是二分类、多分类、回归等等，最重要的是训练样本的标签是已知的
无监督学习（unsupervised learning）
无监督学习的训练样本标签是未知的，让机器去决定如何分类。这个问题可能比有监督的分类更困难，因为不知道具体的类别数目。
典型的无监督学习：聚类（clustering）
其他的无监督学习问题：
半监督学习（semi-supervised learning）
半监督介于监督和无监督之间，顾名思义，就是一部分样本有输出标签，而另一部分训练样本没有输出标签。
半监督学习某些情况下是必要的，大部分使用场景是为了避免昂贵的获取标签的成本。比如药效的预测，因为测试的成本问题，所以只有一小部分的药能够进行测试（得到标签）。
增强学习（reinforcement learning）
增强学习可以类比我们训练宠物的过程来理解，我们要让狗听到坐下的指令就坐下，但是它无法直接听懂我们的指令，所以训练过程中就通过奖励/惩罚的方法，如果狗表现得很好，就给它奖励，否则就给他一定的惩罚，这样不断修正，最终使它”理解“指令。
增强学习的核心就是，给模型或系统一些输入，根据模型的输出反馈，如果反馈结果良好，更接近真实输出，就给其正向激励，如果反馈结果不好，偏离真实输出，就给其反向激励。不断通过“反馈-修正”这种形式，逐渐使模型表现更好。
总结
Learning with Different Protocol f ⇒ ( x n , y n ) f\Rightarrow (x_n,y_n) f⇒(xn,yn)
批量学习（batch learning）
批量学习强调的是每次训练都使用全部的样本，在实际应用中最为广泛。（比较像填鸭式教育）
在线学习（online）
在线学习强调学习实时的，每次训练不使用全部样本，而是在原来训练好的基础上，根据数据一个个输入同步更新模型。
这样做的目的是快速地进行模型的更新，提升模型时效性。
主动学习（active learning）
即让机器具备主动问问题的能力，例如手写数字识别，机器自己生成一个数字或者对它不确定的手写字主动提问。active learning优势之一是在获取样本label比较困难的时候，可以节约时间和成本，只对一些重要的label提出需求。
总结
Learning with Different Input Space X \mathcal X X
Concrete Features
指一些比较具体的特征，比如硬币分类问题中的尺寸、重量等；比如是否发放信用卡中的客户信息等具体特征。具体特征（concrete features）对机器学习来说最容易理解和使用。
Raw Features
比如说手写数字识别中每个数字所在图片的 m × n m\times n m×n维像素值。raw features一般比较抽象，经常需要人或者机器来转换为其对应的concrete features，这个转换的过程就是Feature Transform。
Abstract Features
比如某购物网站做购买预测时，提供给参赛者的是抽象加密过的资料编号或者ID，这些特征完全是抽象的，没有实际的物理意义。所以对于机器学习来说是比较困难的，需要对特征进行更多的转换和提取。
Mini Summary
Summary
这节课分别从输出空间、数据标签、Protocol、输入空间四个角度对机器学习的方法进行了分类。
