LR模型推导

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/hao5335156/article/details/82388151

1、定义

二项逻辑斯谛回归模型，是如下的条件概率分布。

$$P(Y=1|x)= \frac{e^{wx}}{1+e^{wx}} \tag{1}$$

$$P(Y=0|x)= \frac{1}{1+e^{wx}} \tag{2}$$
注意，这里为了方便已经将b扩充入 $w$。公式(2)可以看做 $\frac{1}{1+e^{-z}}$，(Sigmoid函数)如下图

2、事件的几率

指的是事件发生的概率与该事件不发生的概率的比值。假设事件发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$，对于逻辑斯谛回归模型而言，事件几率取log如下:

$$log \frac{P(Y=1|x)}{1-P(Y=0|x)}=w \cdot x$$

3、模型参数估计

假设：$P(Y=1|x)= \pi(x),P(Y=0|x)= 1-\pi(x)$
似然函数：

$$\prod_{i=1}^{N}[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i} \tag{3}$$
公式（3）表明，对于正样本而言，右边的项为1，对于负样本而言，左边的项为1。即满足所有样本的概率最大。
对数似然函数：
$$L(w)=\sum_{i=1}^{N}[y_ilog \pi(x_i)+(1-y_i)log(1-\pi(x_i))] =\sum_{i=1}^{N}[y_ilog\frac{\pi(x_i)}{1-\pi(x_i)}+log(1-\pi(x_i))]=\sum_{i=1}^{N}[y_i(w\cdot x_i)-log(1+e^{w\cdot x_i})] \tag{4}$$
如公式(4)所示，求解的是最大值问题，可以用 梯度下降法(这里求最大值，实际是梯度上升，或者加负号变成梯度下降法)等优化方法求解参数 $w$
假设求得参数 $\hat{w}$。代入公式(1)(2)即可得模型。