数据预测与估算算法（一）---产生式模型与判别式模型

产生式模型（Generative Model）和判别式模型（Discrimitive Model）都是机器学习中有监督学习的模型概念，对于输入X和输出Y，区别是：

产生式模型是估算X和Y的联合概率分布$P(x,y)$
判别式模型是估算X和Y的条件概率分布$P(y|x)$

产生式模型与判别式模型优缺点比较：

产生式模型：

优点

数据信息相对丰富，研究单类别问题灵活性较强，能够充分利用先验数据，模型可以通过增量学习的方式获得。

缺点

学习过程相对复杂，在目标分类问题中容易产生较大的错误率。

常见模型

朴素贝叶斯、隐马尔科夫模型、条件随机场、混合高斯模型。

判别式模型：

优点

分类边界比较灵活，适用于多类别问题研究，能够较好地分辨出类别之间的差异特征。

缺点

不能反应训练样本的本身特性，描述信息具备一定局限性。

常见模型

支持向量机、逻辑回归、神经网络、最大熵模型