指数分布族的后验概率函数都可以是logistic/sigmod形式

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wangfenghui132/article/details/78961760

logistic regression的鲁棒性较强，针对样本的不同分布都可以得到一个相当不错的效果。在Andrew Ng的课程里面说过，logistic function可以用来做样本符合指数分布族的后验概率函数。三年前的自己怎么都想不通为什么，还抱着一本广义线性模型翻来覆去的看，也没看出个端倪。想想自己学习知识也真是不够系统的。前两天又看到这个定义，恍然大悟。
指数分布族的表现形式参考该链接：http://blog.csdn.net/saltriver/article/details/55105285。ligistic 函数是所有后验概率的表达函数原因很简单，一个样本x，y=0的概率为：
p(y=0|x)
=p(x,y=0)/p(x)
=p(x,y=0)/{p(x,y=0) + p(x,y=1)}
=p(x|y=0)p(y=0)/{p(x|y=0)p(y=0) + p(x|y=1)p(y=1)}
= 1/{1 + p(x|y=1)/p(x|y=0) * p(y=1)/p(y=0}
p（y=1）/p（y=0）为常数
p（x|y=1），p（x|y=0）为同一个指数分布族不过参数不一样而已，
所有可以把p（x|y=1）/p（x|y=0）写成一个指数的形式，所有终归会变换成1/{1+exp(-f(x|h1,η1,h2,η2,p（y=1）/p（y=0）))}。其中h1,η1,h2,η2分别表示两个指数分布族的参数，p（y=1）/p（y=0）)为常说，也就是说接下来使用WX来对f(x|h1,η1,h2,η2,p（y=1）/p（y=0）)进行拟合。
在逻辑回归中，一般都会讲到对数几率，也就是说这类的回归都是在尝试着使用W*X来拟合log{p（x|y=0）/p（x|y=1）}。不管p（x|y=0）符合什么样的分布，如果是指数分布族，应该会有更好的表现而已。