深入理解深度学习——正则化（Regularization）：半监督学习

分类目录：《深入理解深度学习》总目录

---

在半监督学习的框架下，$P(x)$产生的未标记样本和$P(x,y)$中的标记样本都用于估计$P(y|x)$或者根据$x$预测$y$。在深度学习的背景下，半监督学习通常指的是学习一个表示$h=f(x)$。学习表示的目的是使相同类中的样本有类似的表示。无监督学习可以为如何在表示空间聚集样本提供有用线索。在输入空间紧密聚集的样本应该被映射到类似的表示。在许多情况下，新空间上的线性分类器可以达到较好的泛化。这种方法的一个经典变种是使用主成分分析作为分类前（在投影后的数据上分类）的预处理步骤。

我们可以构建这样一个模型，其中生成模型$P(x)$或$P(x,y)$与判别模型$P(y|x)$共享参数，而不用分离无监督和监督部分。我们权衡监督模型准则$-\log P(y|x)$和无监督或生成模型准则（如$-\log P(x)$ 或 $-\log P(x,y)$）。生成模型准则表达了对监督学习问题解的特殊形式的先验知识，即$P(x)$的结构通过某种共享参数的方式连接到$P(y|x)$。通过控制在总准则中的生成准则，我们可以获得比纯生成或纯判别训练准则更好的权衡。Salakhutdinov和Hinton描述了一种学习回归核机器中核函数的方法，其中建模$P(x)$时使用的未标记样本大大提高了$P(y|x)$的效果。

参考文献：
[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015
[2] Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola. Dive Into Deep Learning[J]. arXiv preprint arXiv:2106.11342, 2021.