4-1 朴素贝叶斯 模型公式的推导

假设A和B是两个事件，根据贝叶斯公式：
$P(A|B) * P(B) = P(A, B) = P(B|A)P(A)$
又假如在这两个事件中，我们关注的是事件A，那么称：
P(A)为先验概率，即A发生的概率
P(B|A)为条件概率
P(A|B)为后验概率
根据先验概率和条件概率求后验概率：
$P(A|B) = \frac {P(B|A)P(A)}{P(B)}$

在朴素贝叶斯模型中，将 $Y=C_k$ $看作是事件A，将$ $X=x$看作事件B，根据给定的输入x求Y得到不同值的概率：
$P(Y=C_k|X=x) = \frac {P(X=x|Y=C_k)P(Y=C_k)}{P(X=x)} \tag{1}$

公式（1）中 $P(Y=C_k)$是先验概率，可以直接根据样本计算出来。
公式（1）中的 $P(X=x|Y=C_k)$不能由样本直接计算。
将x展开为
$x=(x^{(1)},x^{(2)},\cdots,x^{(n)}) \tag {2}$
根据朴素贝叶斯模型中对数据的假设：用于分类的特征在类确定的条件下都是条件独立的。公式（2）中的KaTeX parse error: Expected '}', got 'EOF' at end of input: …},\cdots,x^{(n)就是这些条件独立的特征，得到：
$P(X=x|Y=C_k) \\ = P(X=(x^{(1)},x^{(2)},\cdots,x^{(n)})|Y=C_k) \\ = P(x^{(1)}|y=C_k)*P(x^{(2)}|y=C_k)*\cdots*P(x^{(n)}|y=C_k) \tag {3}$
公式（3）中的每个P(x|y)都能根据样本计算出来，最终计算出总的 $P(X=x|Y=C_k)$
公式（1）中的P(X=x)可根据概率论公式得出：
$P(X=x) = \sum_k P(Y=C_k)\prod_jP(X^{(j)}=x^{(j)}|y=C_k) \tag {4}$
把公式（3）、（4）代入公式（1）得：
$P(Y=C_k|X=x) = \frac {P(Y=C_k)\prod_jP(X^{(j)}=x^{(j)}|y=C_k)}{\sum_k P(Y=C_k)\prod_jP(X^{(j)}=x^{(j)}|y=C_k)}, k=1,2,\cdots,K$