生成式模型与判别式模型

定义：

  判别式模型是对$P(y|x)$进行建模或者直接学习输入空间到输出空间的映射关系，其中$x$是某样例的特征，$y$是某类样例的分类标记。而生成式方法是对$P(x|y)$(条件概率)和$P(y)$(先验概率)进行建模，然后按贝叶斯公式求出后验概率$P(y|x)$：

$$P(y|x)=\frac{P(x|y)P(y)}{P(x)}$$
使得后验概率最大的类别 $y$即是新样例的预测值：
$$argmax_yP(y|x)=argmax_y\frac{P(x|y)P(y)}{P(x)}=argmax_yP(x|y)P(y)$$