朴素贝叶斯&贝叶斯网络

• 贝叶斯决决策论

      在所有相关概率都理想的情况下，贝叶斯决策论考虑基于这些概率和误判损失来选择最优标记，基本思想如下：

（1）已知先验概率和类条件概率密度（似然）

（2）利用贝叶斯转化为后验概率

（3）根据后验概率的大小进行决策分类

1、风险最小化

风险：根据后验概率可以获得将样本分为某类所产生的期望损失，即在该样本上的“条件风险”。

目的：寻找最小化总体风险，只需在每个样本上选择能使条件风险最小的类标记

2、决策风险最小化---后验概率最大化

      获得后验概率有两种方法，机器学习也因为这两种方法被分为判别模型和生成模型。

判别模型：对于给定的x, 通过建模P(c|x)来预测c.

生成模型：先对联合分布P(c,x)建模，在算出P(c|x)

• 朴素贝叶斯（NB）

假设：属性之间需要相互独立

算法：

input： 训练集T={(x_i,y_i)|i=1...N}

output：实例x的分类