《统计学习方法》 第四章 朴素贝叶斯法

1. 先验概率、后验概率、条件概率、联合概率分布

先验概率:一般是单独事件发生的概率,如P(Y=C_k)
后验概率:（若 P(X|Y) 为正向，则 P(Y|X) 为反向），基于先验概率求得的反向条件概率，形式上与条件概率相同.
条件概率:事件A在另外一个事件B已经发生了条件下的发生的概率.
如:P(X=x|Y=C_k).
联合概率分布:包含多个条件，且所有条件同时成立的概率.
如:P(X,Y)

2. 朴素贝叶斯法的学习与分类

2.1 基本方法

朴素贝叶斯法对条件概率分布作了条件独立性的假设,即:

注:条件独立性假说等于是说用于分类的特征在类确定的条件下都是条件独立的,优点是使朴素贝叶斯法变的简单,缺点是牺牲一定的分类准确率.

2.2 后验概率最大化的含义

3. 朴素贝叶斯法的参数估计

3.1 极大似然估计

极大似然估计的目的：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
极大似然估计的原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

注:上述中I(y_i=c_k)的解释: y_I表示预测结果, I(y_i=c_k)表示当y_i=c_k时为1,否则为0,N表示总样本数.

3.2 学习与分类算法实例

3.3 贝叶斯估计