朴素贝叶斯法的参数估计理论

贝叶斯的参数估计

朴素贝叶斯方法需要知道先验概率，此时
$P(Y_i)$是先验概率， $P(X|Y_i)$是类的条件概率密度。
$P(Y_i)$容易得到，对类的条件密度的估计存在两个问题：1，实际的样本对于类条件概率的估计来说，太少了；2，有时特征空间的维度太高，计算复杂度太高。
为了降低估计难度，我们可以将类条件密度参数化，比如用正态分布来估计 $P(X|Y_i)$（极大似然）。

再来一遍：

根据贝叶斯公式，利用先验概率和类条件概率求后验概率：
   $P(w_i|x)=\dfrac{p(x|w_i)P(w_i)}{\sum_{j=1}^{2}p(x|w_j)P(w_j)}$
其中， $p(x|w_i)$就是类条件概率密度，其中x是个特征向量 $x=[x_1,x_2,...,x_d]^T$。

1，这个类条件概率密度我们总是假设它已知，然而真实情况是，它并非已知，而且貌似没那么好估计，因为特征向量包含多的特征，这就导致类条件概率密度函数中的参数个数为指数级别，很难进行估计。
2，实际中，假设特征向量x的第j个特征Xj可取值有Sj个，那么参数个数为 $c\prod_{j=1}^d S_j$

在参数估计里面，主要有最大似然估计和贝叶斯估计。

极大似然估计法(Maximum Likehood Estimation)

极大似然估计法认为参数是固有的，但是可能由于一些外界噪声的干扰，使数据看起来不是完全由参数决定的。没关系，数学家们觉得，虽然有误差存在，但只要让在这个数据给定的情况下，找到一个概率最大的参数就可以了。那问题其实就变成了一个条件概率最大的求解，即求使得 $p(\theta|D)$最大的参数 $\theta$：
$\mathop{\arg\max}_{\theta}\,p(\theta|D)$

根据条件概率公式： $p(\theta|D)=\dfrac{p(D|\theta)p(\theta)}{p(D)}$

因为我们在极大似然估计中假设 θ 是确定的，所以p(θ)就是一个常数。p(D) 同样是根据已有的数据得到的，也是确定的，或者我们可以把其看作是对整个概率的一个归一化因子。这时候，求解上面的公式 $\mathop{\arg\max}_{\theta}\,p(\theta|D)$就变成了求解：
    $\mathop{\arg\max}_{\theta}\, p(D|\theta)$
其中， $p(D|\theta)$就是似然函数，我们要做的就是求一个是似然最大的参数。
求解这个问题，需要假设我们的数据是相互独立的，那么对数据的抽样集合 $D=\{x_1,x_2,x_3,...,x_n\}$，有：
     $p(D|\theta)=\prod_{i=1}^{n}p(x_i|\theta)$。
取对数、求导取极值点，就得到了要估计的参数。

假设有一组独立同分布的随机变量X，给定一个概率分布D，假设其概率密度函数为f，以及一个分布的参数θ，从这组样本中抽出 $x_1,x_2,...,x_n$，那么通过参数 $\theta$的模型 f 生成上面样本的概率为：
     $f(x_1,x_2,\cdots,x_n|\theta) = f(x_1|\theta) \times f(x_2|\theta) \times \cdots f(x_n|\theta)$

最大似然估计会寻找关于θ 的最可能的值，即在所有可能的 θ 取值中，寻找一个值使这个采样的“可能性”最大。
为是”模型已定，参数未知”，此时我们是根据样本采样求估计参数 $\theta$，所以定义似然函数：
     $L(\theta|x_1,x_2,\cdots,x_n)=f(x_1,x_2,\cdots,x_n|\theta) = \prod f(x_i | \theta)$
由于概率密度 $f(x_i|\theta)$一般比较小，而n往往比较大，连乘容易造成浮点数下溢，所以我们用对数似然函数：
     $\ln L(\theta|x_1,x_2,\cdots,x_n) = \sum\limits_{i=1}^n f(x_i | \theta)$
并且令：
     $\widehat l= \dfrac{1}{n} \ln L$

那么参数 $\theta$的估计值为：
     $\widehat{\theta}_{MLE} =\mathop{\arg\max}_{\theta} \widehat l(\theta|x_1,x_2,\cdots,x_n)$

举个例子
http://noahsnail.com/2018/05/17/

假设样本服从正态分布 $N\sim(\mu,\sigma^2)$，则似然函数：
$L(\theta|D)=\prod_{i=0}^{n}p(x_i|\theta)\simeq L(\mu,\sigma^2)=\prod_{i=0}^n \dfrac {1} {\sqrt{2\pi} \sigma}e^{-\frac {(x_i-\mu)^2} {2\sigma^2}}$

对其取对数得：
$lnL(\mu,\sigma^2)=-\frac {n} {2}ln(2\pi) - \frac {n} {2} ln(\sigma^2) - \frac {1} {2\sigma^2} \sum_{i=0}^n(x_i-\mu)^2$

分别对 $\mu\, ,\quad \theta^2$求偏导，并令偏导数为0，得：
$\begin{cases} \dfrac {\partial lnL(\mu,\sigma^2)} {\partial \mu}= \dfrac {1} {\sigma^2} \sum_{i=0}^n(x_i-\mu) =0 \\ \dfrac {\partial lnL(\mu,\sigma^2)} {\partial \sigma^2}= -\dfrac {n} {2\sigma^2} + \dfrac {1} {2\sigma^4}\sum_{i=0}^n(x_i-\mu)^2 =0 \end{cases}$

解得：
$\begin{cases} \hat{\mu}= \frac {1} {n} \sum_{i=0}^nx_i=\bar{x}\\ \hat{\sigma}^2 = \frac {1} {n} \sum_{i=0}^n(x_i-\bar{x})^2 \end{cases}$

$\hat{\mu}，\hat{\sigma}^2$就是正态分布中 $\mu ,\,\theta^2$的最大似然估计值。

贝叶斯估计法

用极大似然估计可能会出现所要估计的概率值为0的情况。 这时会影响到后验概率的计算结果， 使分类产生偏差。 解决这一问题的方法是采用贝叶斯估计。

最大似然估计和贝叶斯估计的区别

• 最大似然估计要估计的参数θ被当作是固定形式的一个未知变量，然后我们结合真实数据通过最大化似然函数来求解这个固定形式的未知变量。

• 贝叶斯估计则是将参数视为是有某种已知先验分布的随机变量，意思是这个参数不是一个固定的未知数，而是符合一定先验分布如：随机变量θ符合正态分布等。那么在贝叶斯估计中除了类条件概率密度 $p(x|\omega)$符合一定的先验分布，参数θ也符合一定的先验分布。我们通过贝叶斯规则将参数的先验分布转化成后验分布进行求解！

在最大似然估计中 $\theta$被假定为固定值，而贝叶斯估计中认为 $\theta$是随机变量。

设样本集合为D,目标是计算 $P(\omega_i|x,D)$，根据贝叶斯公式：

     $P(\omega_i|x,D) = \dfrac{P(x|\omega_i,D)P(\omega_i|D)}{\sum_{j=1}^{c}P(x|\omega_j,D)P(\omega_j|D)}$

1,由于先验概率通常可以事先获得，所以： $P(\omega_i)=P(\omega_i|D)$
2,每个样本只依赖于所属的类(类之间也是相互独立的)，所以： $P(x|\omega_i,D)=P(x|\omega_i,D_i)$，于是：
上式变为：
     $P(\omega_i|x,D) = \dfrac{P(x|\omega_i,D_i)\cdot P(\omega_i)}{\sum_{j=1}^{c}P(x|\omega_j,D_j)\cdot P(\omega_j)}$

只要在每类中，独立计算 $P(x|\omega_i,D_i)$，就可以确定X的类别。
由于类之间相互独立，所以我们不用区分类了， $P(x|\omega_i,D_i)=P(x|D)$。

因此，核心工作就是要估计 $P(x|D)$

怎样估计 $P(x|D)$呢？

根据条件概率公式 $p(x,\theta|D)=p(x|\theta,D)p(\theta|D)$，

     $p(x|D)=\int_{\theta}p(x,\theta|D)d\theta=\int_{\theta}p(x|\theta,D)p(\theta|D)d\theta$

又因为对数据D中的x而言， $\theta$和 $\theta,D$是同一条件，有 $p(x|\theta,D)=p(x|\theta)$
所以
     $p(x|D)=\int_{\theta}p(x,\theta|D)d\theta=\int_{\theta}p(x|\theta,D)p(\theta|D)d\theta=\int_{\theta}p(x|\theta)p(\theta|D)d\theta$

注意到： $\int_{\theta}p(x|\theta)p(\theta|D)d\theta$ 如果 $P(\theta|D)$在某个 $\hat{\theta}$附近有非常显著的尖峰，则
         $p(x|D)\simeq p(x|\hat{\theta})$
即：
如果条件概率有一个已知的形式，则利用已有的训练样本，就能通过 $p(\theta|D)$对 $p(x|D)$进行估计。

贝叶斯估计过程，就是：
（1） $p(x|D)=\int_{\theta}p(x|\theta)p(\theta|D)d\theta$

（2） $p(\theta|D)=\dfrac{p(D|\theta)p(\theta)}{p(D)}=\dfrac{p(D|\theta)p(\theta)}{\int_{\theta}p(D|\theta)p(\theta)d\theta}$

其中， $p(D|\theta)=\prod_{i=1}^{n}p(x_i|\theta)$

Ref:
https://blog.csdn.net/liu1194397014/article/details/52766760