监督学习之十——多类多标签分类算法（Multiclass and multilabel algorithms）

---

一、OvO(One vs One)

对每两个类别进行一次二分类学习，若共有d个类别，则需要判断 $\frac{d\times (d-1)}{2}$ 次，最终的结果可通过投票法产生。

二、OvR(One vs the Rest)

每次选择一个类别作为正例，其余类别作为反例来训练d个分类器，在d个分类器中若有一个预测为正类，则记为最终结果，若有多个预测为正类，则考虑预测的置信度，选择最大的作为最终结果。

三、OvO vs OvR

若仅考虑分类器数量，OvR显然更好，但在实际训练过程中，OvR使用了全部的训练样本，而OvO只使用了两个类别的样本，因此，在类别很多时，OvO表现得更好。
至于预测效果，两者差不多。

四、MvM（Many vs Many）

每次选取若干个类别作为正例，若干个类别作为反例，可以有没被选择的类别，按照该方法选择k次，构造了k个分类器并进行了k次分类，最终选择其判断错误最少的类别。例如下图（来源于《机器学习》周志华）

故我们选择 $C_3$作为最终类别。

---

Thanks for reading!----written by LiHao