统计学习方法之朴素贝叶斯

1.贝叶斯

       1.后验概率

         贝叶斯的厉害之处就在于他是一种基于后验概率的统计理论,先解释一下,先验概率是通过经验判断某件事发生的概率;条件概率是已经x发生的条件下y发生的概率;后验概率是发生了y事件,条件x成立的概率;

        2.贝叶斯公式

                                      

             解释一下就是,分子表示的是A概率*A条件下B的概率,这就可以表示出AB同时发生的概率;同时概率除以B发生的概率自然 就是B条件下A的概率了。举个例子假设作死为A,死为B;作死导致死亡的概率是70%,一个人会作死的概率是20%,死亡的概率是50%(此处表示非正常死亡);

         现在有一个人死了,请问这个人作死的概率是多少;即P(作死|死亡)=P(死亡|作死)*P(作死)/P(死亡)=(0.7*0.2)/0.5=0.28  上面的概率均属于假设,说明了一个人非正常死亡的情况下,是因为作的概率为0.28;

2.朴素贝叶斯

        1.这是贝叶斯算法的一种落地模型,为了实现分类的功能。为什么叫做朴素贝叶斯呢,因为它基于一个条件是特征独立分布,但是现实很多情况下特征并不是独立分布的。在这些时候他的准确率就不是很高。

        2.模型落地 

               我们将上面的A,B转换为实际工程中对应的X,Y;贝叶斯可以根据联合概率和X发生的概率求出给定x对应的y的概率;如果实际中有多个x和y,我们只需要求出x条件下概率最大的y,就可以用来分类了;因为是求最大,并且分母这种的x的概率不会影响到对于y的判断;所以我们直接求分子最大即可;实际公式就变成了

                y=max(p(x1,x2,x3...xn|yi)*p(yi))=>max(p(x1|yi)*p(yi)*p(x2|yi)*p(yi)*p(x3|yi)*p(yi)...p(xn|yi)*p(yi))=>max(logp(yi) * \sum_{j=1}^{n}logp(xj|yi))

               说到底就是用对应y类的概率乘以y条件下所有的x的概率,因为对数运算比较快速,所以转换为对数下y的概率乘对数y下x的概率之和。得到最大的概率值就是我们最终的分类输出了。

3.总结

        朴素贝叶斯是基于贝叶斯算法,实现的分类模型;基于独立分布假设,求解的本质就是求贝叶斯公式中的分子最大。还有一些关于参数的估计,y的概率、y条件下x的概率等;后面需要再进行补充。换换脑子,给大家看一下我的女神angelababy吧!

                             卿有倾国色,我无盖世才。夜深虫频诉,知我望卿来。

                           

猜你喜欢

转载自blog.csdn.net/gaobing1993/article/details/108248559