机器学习实战---朴素贝叶斯

一、贝叶斯定理

条件概率是指事件A在另外一个事件B已经发生条件下的发生概率,其基本求解公式为: P(A|B) = P(AB) / P(B)

贝叶斯公式:

其中:

        P(A)A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

        P(B)B的先验概率或边缘概率。

        P(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。

        P(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。

        在实际应用中,P(A),P(B),P(A|B)都可以提前获得。

        贝叶斯公式实际提供了一种已知事件A确实发生了,估计它是由“原因”B所导致概率的方法 

二、简介

        假设使用贝叶斯算法对文本进行分类,首先需要建立一个含有所有词汇的词汇表。假定词汇表中有1000个单词,要得到好的概率分布,就需要足够的数据样本,假定样本数为N。那么对于包含1000个特征的词汇表,将需要N1000个样本。可见,所需要的样本数会随着特征数目增大而迅速增长

        如果特征之间相互独立,那么样本数就可以从N1000减少到1000×N。所谓独立,指的是统计意义上的独立,即一个特征或单词出现的可能性与它和其他单词相邻没有关系。

        例如,假设单词bacon出现在unhealthy后面与出现在delicious后面的概率相同。

        这个假设就是朴素贝叶斯算法中,朴素一词的含义。

三、基本原理

常见三种实现模型

多项式模型;

高斯模型;

伯努利模型

猜你喜欢

转载自blog.csdn.net/github_37002236/article/details/83246267