1.learning with Different output space
之前我们学习了PCA进行二分类即Y={-1,1}，但是机器学习不止能进行二分类，还能进行多分类问题*Y={1,2,3…,k}即给定一个输出，机器告诉我们该输入属于Y中的哪一类。机器学习还能进行回归学习*，即Y=R或者Y=[lower,upper]∈R(bounded regression)即给定一个输入然后给出的输出是一个实数。
稍微复杂点的，机器学习还能够进行结构学习，比如输入为一句话，我们希望机器输出该句话的结构（每个单词的词性等）。
2.learning with Different Data Label
监督学习：对于我们给的所有数据输入，我们都有其正确的输出。
非监督学习：对于我们给的所有数据输入，我们都没有其正确的输出，我们希望电脑能够自动识别输入的数据并给出相应的输出。
不像监督学习，非监督学习的种类多样，非监督学习可以根据文章的主题对文章进行分类，当然我们并没有事先输入文章的主题，这个靠机器自己分别。
非监督学习可以进行密度识别，比如自动识别哪里的交通事故多发。
半监督学习：顾名思义就是对于给定的一系列数据有的数据我们知道其label但是大部分数据的label我们不知道，我们希望机器依靠知道的那部分数据对所有的数据进行正确的输出。
强化学习：对于强化学习，我们并不事先输入一系列的训练数据去给机器进行学习，而是一个一个的输入数据，当机器对于输入的数据给出正确的输出，我们就对其进行奖励，当给出错误的输出我们就进行惩罚。
3.Learning with Different protocol
Batch Learning:我们一次性塞一批数据给机器，让机器去从这些数据中取进行学习。
OnLine Learning:我们一个一个的将数据分步送给机器，然后机器首先进行判断，如果错了我们就告诉机器正确的输出是什么。比如垃圾邮件的分类，首先来了第一封邮件机器判定为垃圾邮件，然后我们告诉机器这不是垃圾邮件，然后机器对其进行学习，然后下次又来一封邮件，机器在根据之前的学习进行判断然后我们在告诉机器其正确与否，如果正确则不做事，不正确则进行学习。
PLA可以很简单的适用于在线学习，当错误时进行更新，正确时不做事。
强化学习也很容易的解释成在线学习，强化学习每次输入一个输入，然后对机器的输出进行奖励或者惩罚。
active Learning:
主动学习：希望机器有问问题的能力。
4.Learning with Different input Space
concrete features::就是每个特征都有特定的物理意义，比如对硬币进行分类，那么特征可能是重量，尺寸等具有具体物理意义的特征，这种特征叫做具体特征，这类特征，对机器而言比较容易。
raw features:比较抽象的特征，有一定简单的物理意义但是不够具体。比如识别数字，我们直接将数字的16*16个像素作为输入，让机器去学习，这个对机器而言比较难。
abstract Features:抽象的特征即没有具体物理意义或者很少物理意义的特征。比如我们将歌曲进行编号让机器通过编号对歌曲进行分类，但是歌曲的编号是个很抽象的东西，因为并没有具体的物理意义，我们只是随便编的，机器就很难从这里面去发现规律。