朴素贝叶斯原理

（1）全概率公式

  如果事件组 $B_1,B_2,\dots$满足：

• $B_1,B_2,\dots$两两互斥，即 $B_i ∩ B_j = \emptyset$ ， $i≠j$， $i,j=1,2,\dots$，且 $P(B_i)>0,i=1,2,\dots$
• $B_1∪B_2∪\dots=Ω$ ，则称事件组 $B_1,B_2,\dots$是样本空间 $Ω$的一个划分

  设 $B_1,B_2,\dots$是样本空间 $Ω$的一个划分， $A$为任一事件，则：
$P(A)=\sum\limits_{i=1}^\infty P(B_i)P(A|B_i)$
该式即为全概率公式。

（2）贝叶斯公式

  与全概率公式解决的问题相反，贝叶斯公式建立在条件概率的基础上寻找事件发生的原因（即大事件 $A$已经发生的条件下，分割中的小事件 $B_i$的概率）,设 $B_1,B_2,\dots$是样本空间 $Ω$的一个划分，则对任一事件 $A(P(A)>0)$,有
$P(B_i|A) = \dfrac{P(B_i,A)}{P(A)} = \dfrac{P(A|B_i)P(B_i)}{\sum_{j=1}^n P(A|B_j)P(B_j)}$
上式为贝叶斯公式。 $B_i$ 常被视为导致试验结果 $A$发生的”原因“, $P(B_i)(i=1,2,\dots)$表示各种原因发生的可能性大小，故称先验概率； $P(B_i|A)(i=1,2,\dots)$则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

（3）分类任务表达式

贝叶斯公式可以转为分类任务表达式：
$P(类别_i|特征_{j=1,2,\dots})=\dfrac{P(特征_{j=1,2,\dots}|类别_i)P(类别_i)}{P(特征_{j=1,2,\dots})}$

（4）朴素贝叶斯

  朴素贝叶斯对条件概率分布作了条件独立性假设，具体的，条件独立性假设是：
$\begin{aligned} P(X=x|Y=c_k) &= P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},\dots,X^{(n)}=x^{(n)}|Y=c_k) \\ &=\prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) \end{aligned}$
结合后验概率根据贝叶斯定理得：
$\begin{aligned} P(Y=c_k|X=x) &= \dfrac{P(X=x|Y=c_k)P(Y=c_k)}{P(X=x)}\\ &=\dfrac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_k P(X=x|Y=c_k)P(Y=c_k)} \end{aligned}$
两式结合，得朴素贝叶斯得基本公式：
$P(Y=c_k|X=x) = \dfrac{P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_kP(Y=c_k) \prod_jP(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\dots,K$
因为分母对于 $c_k$都是相同得，于是，朴素贝叶斯分类器表示为
$y=f(x)=\mathop{\arg\max}\limits_{c_k} P(Y=c_k)\prod_jP(X^{(j)}=x^{(j)}|Y=c_k)$