一、贝叶斯定理
条件概率是指事件A在另外一个事件B已经发生条件下的发生概率,其基本求解公式为: P(A|B) = P(AB) / P(B)
贝叶斯公式:
其中:
P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
P(B)是B的先验概率或边缘概率。
P(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。
P(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。
在实际应用中,P(A),P(B),P(A|B)都可以提前获得。
贝叶斯公式实际提供了一种已知事件A确实发生了,估计它是由“原因”B所导致概率的方法
二、简介
假设使用贝叶斯算法对文本进行分类,首先需要建立一个含有所有词汇的词汇表。假定词汇表中有1000个单词,要得到好的概率分布,就需要足够的数据样本,假定样本数为N。那么对于包含1000个特征的词汇表,将需要N1000个样本。可见,所需要的样本数会随着特征数目增大而迅速增长
如果特征之间相互独立,那么样本数就可以从N1000减少到1000×N。所谓独立,指的是统计意义上的独立,即一个特征或单词出现的可能性与它和其他单词相邻没有关系。
例如,假设单词bacon出现在unhealthy后面与出现在delicious后面的概率相同。
这个假设就是朴素贝叶斯算法中,朴素一词的含义。
三、基本原理
常见三种实现模型
多项式模型;
高斯模型;
伯努利模型