机器学习第13章(半监督学习)

13.1 未标记样本

如果有标记样本的个数太少,则由于训练不足,学得模型的泛化性能往往不见。

active learning主动学习,其目标是使用尽量少的query查询来获得较好的性能。

未标记样本虽然没有直接包含标记信息,但其来源也是和其他有标记样本一样,来自于独立同分布的采样

13.2 生成式方法

Generative methods是直接基于生成式模型的方法,此类方法假设所有数据都是由一个潜在的模型生成的。

13.3 半监督SVM

Semi-Supervised Support Vector Machine,简称S3VM是支持向量机在半监督学习上的推广。在不考虑未标记样本时,支持向量机试图找到最大间隔划分超平面,而在考虑未标记样本后,S3VM试图找到能将两类有标记样本分开,且穿过数据低密度区域的划分超平面。

13.4 图半监督学习

给定一个数据集,我们可将其视为一个图,数据集中每个样本对应于图中一个节点,若两个样本之间的相似度很高,则对应的结点之间存在一条边,边得强度正比于样本之间的相似度。

图半监督学习方法在概念上比较清晰,但该类方法在处理大规模数据集时效果不佳。若样本数为O(m),则其对应的矩阵规模为O(m2);另一方面,由于构图过程仅能考虑训练样本集,难以盼知新样本在图中的位置,因此,在接受到新样本时,或是将其加入原数据集,对图进行重构并重新进行标记传播,或是需引入额外的预测机制。

13.5 基于分歧的方法

disagreement-based methods使用多学习器,而学习器之间的disagreement分歧对未标记数据的利用至关重要。

13.6 半监督聚类

聚类任务中获得的监督信息大致有两类,一类是must-link,一类是cannot-link。must-link是指样本必属于同一个簇,后者是指样本必不属于同一个簇。

猜你喜欢

转载自blog.csdn.net/jinhualun911/article/details/108901185