作者：jliang
1.重点归纳
1）朴素贝叶斯（naive Bayes）法只能用于分类，先基于特征条件独立假设学习输入/输出的联合概率分布，然后对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
2）损失函数：0-1损失函数
3）目标函数：后验概率最大化
4）属于生成式模型
5）联合概率分布：
6）贝叶斯公式：
7）贝叶斯参数可使用极大似然估计，但是用极大似然估计可能会出现所要估计的概率值为0的情况，这是会影响后验概率的计算结果，使分类偏差。所以引入贝叶斯估计：
（1）条件概率计算公式：
（2）先验概率公式：
8）贝叶斯类型
- 高斯朴素贝叶斯（GaussianNB）：适用于一般分类
- 多项式分布朴素贝叶斯（MultinomialNB）：适用于文本数据（特征表示的是次数）
- 伯努利分布朴素贝叶斯（BernoulliNB）：适用于伯努利分布，也适用于文本数据。用于文本时，特征表示是否出现。
2.朴素贝叶斯的学习与分类
1）朴素贝叶斯（naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。
（1）只能用于分类。分类步骤：
- 基于特征条件独立假设学习输入/输出的联合概率分布
- 基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y
（2）损失函数：0-1损失函数
（3）目标函数：后验概率最大化
（4）生成式模型
2）贝叶斯法对条件概率分布作了条件独立性的假设（前提），条件独立性假设使贝叶斯变得简单，但有时会牺牲一定的分类准确性。
3）联合概率分布：
4） 贝叶斯公式：
预测模型：P类别特征=P(类别)P(特征|类别)P特征
两个条件时：
多个条件时：
5）目标函数（后验概率最大化），后验概率最大等价于0-1损失函数时的期望风险最小化。
3. 朴素贝叶斯的的参数估计
1）极大似然估计：就是在假定整体模型分布已知，利用已知的样本结果信息，反推最具有可能（最大概率）导致样本结果出现的模型参数值。
（1）先验概率：
（2）条件概率：
特征维数量：j=1,2,…,n
每个特征可取值数量：l=1,2,…,Sj
标签类型数量：k=1,2,…,K
2）朴素贝叶斯算法计算步骤
（1）计算先验概率和条件概率
（2）计算给定实例（输入特征）对应的每种取值的后验概率
（3）确定实例的类别（上一步中概率最大值即为输出类别）
3）贝叶斯估计
（1）使用原因：用极大似然估计可能会出现所要估计的概率值为0的情况，这是会影响后验概率的计算结果，使分类偏差。
（2）条件概率的贝叶斯估计估计
- 相对于极大似然估计，贝叶斯估计公式中分子多了一个λ，分母多了一个Sjλ
- λ≥0
- λ=0，为极大似然估计
- λ=1，为拉普拉斯平滑
- Sj为特征Xj的取值数
（3）先验概率的贝叶斯估计
- 相对于极大似然估计，贝叶斯公式中分子多了一个λ，分母多了一个Kλ
- K为y的取值数
4.朴素贝叶斯类型
1）高斯朴素贝叶斯（GaussianNB）
- 高斯分布是正太分布，用于一般分类问题。
2）多项式分布朴素贝叶斯（MultinomialNB）
- 多项式分布：
- 适用于文本数据（特征表示的是次数，例如某个次数的出现的频率）。
3）伯努利分布朴素贝叶斯（BernoulliNB）
- 伯努利分布：
- 适用于伯努利分布，也适用于文本数据。用于文本时，特征表示是否出现，例如某个词出现为1，否则为0。
- 绝大多数情况下伯努利分布朴素贝叶斯不如多项式分布朴素贝叶斯，但有时候伯努利分布朴素贝叶斯表现要比多项式分布要好，尤其是对于小数量级的文本数据。