朴素贝叶斯分类的M估计推导

      在使用朴素贝叶斯方法进行文本分类时,如果待分类的文本包含某个属性值在训练样本中不存在,则类条件概率为0,

这时候算出的所有类别的后验概率都是0,导致无法对文本分类。一般可采用M估计(M-Estimate)来平滑类条件概率的计算,从而得到非0的可比较的近似概率值,达到分类的目的。

      设 文本由一个属性向量x=(x1,x2,x3,...xn)表示,给定分类集合Y={yj|yj 属于Y}

      求 文本向量的一个属性xi 对于分类yj的类条件概率P(xi|yj)。

      首先假设Nyj 是分类yj的样本总数,Nxi是包含属性xi且属于分类yj的样本数。

      由概率知识得到:

             P(xi|yj) = Nxi / Nyj                                    ------公式1

      如果采用M-Estimate,得到的公式是

             P(xi|yj) = (Nxi + mp) / (Nyj + m)               ------公式2

      其中p是 P(xi|yj) 的近似值,即有 Nxi / Nyj  ~= p

      由公式1和p逐步推导出公式2的过程如下:

             为简化起见,设 a = Nyj, b = Nxi, 则 p ~= b / a, 可得:

             P(xi | yj) = b / a

                           = b(a+m) / a(a+m)    

                           = (ba + bm) / a(a+m)

                           = (b + m*(b/a)) / (a+m)

                           ~= (b + mp) / (a+m)                   -------- 用 p ~= b / a 代入。

                           = (Nxi + mp) / (Nyj + m)

       得证。

      M估计的实际应用:

       1. 多项式模型:

            m = |V|,p = 1/|V|, 这里|V|为样本空间V的词库大小。

       2. 伯努利模型:

            m = 2, p = 1/2

           至于为什么m取2,我还没弄懂,期待有知道的朋友分享一下。

猜你喜欢

转载自ocre.iteye.com/blog/1356067
今日推荐