逻辑斯谛回归模型（ Logistic Regression，LR）

1. Logistic Regression 模型

1.1 logistic 分布

定义：设 $X$ 是连续随机变量， $X$ 服从 logistic 分布是指 $X$ 具有下列分布函数和密度函数：

$F(x) = P(X \leq x) = \frac{1}{1+e^{{-(x-\mu)} / \gamma}}$

$f(x)=F'(x)= \frac {e^{{-(x-\mu)} / \gamma}}{\gamma {(1+e^{{-(x-\mu)}/\gamma})}^2}$

式中 $\mu$ 为位置参数， $\gamma > 0$ 为形状参数

分布函数 $F(x)$ 是一条S形曲线 sigmoid curve，曲线以点 $(\mu, \frac{1}{2})$ 为中心对称，即满足： $F(-x+\mu)-\frac{1}{2} = -F(x+\mu)+\frac{1}{2}$

形状参数 $\gamma$ 的值越小，曲线在中心附近增长越快

1.2 二项逻辑斯谛回归模型

binomial logistic regression model 是一种分类模型，由条件概率分布 $P(Y|X)$ 表示， 形式为参数化的逻辑斯谛分布。这里，随机变量 $X$ 的取值为实数，随机变量 $Y$ 取值为 1 或者 0。用监督学习的方法来估计模型参数。

二项逻辑斯谛回归模型具有下面条件概率分布：

$P(Y=1|x) = \frac{exp(wx+b)}{1+exp(wx+b)}$

$P(Y=0|x) = \frac{1}{1+exp(wx+b)}$

$w$ 是权值向量， $b$ 是偏置， $w· x$ 为 $w$ 和 $x$ 的内积（内积，对应位置相乘，再加总）

按照上面式子，可以求得 $P(Y=1|x)$ 和 $P(Y=0|x)$，LR模型将实例 $x$ 分到概率较大的那一类。

事件的几率（odds）是指该事件发生的概率 $p$ 比上 不发生的概率 $1-p$，该事件的对数几率即 $logit(p) = log\frac{p}{1-p}$

对于LR来讲， $log \frac{P(Y=1|x)}{1-P(Y=1|x)} = w· x$，就是说， $Y=1$ 的对数几率是输入 $x$ 的线性函数

1.3 模型参数估计

LR模型学习时，对于给定的训练数据集 $T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$, 其中， $x_i \in R^n, \quad y_i \in \{0,1\}$, 应用极大似然估计，得到 LR 模型

假设： $P(Y=1|x)=\pi(x), \quad\quad P(Y=0|x)=1-\pi(x)$

似然函数为： $\prod_{i=1}^N [\pi(x_i)]^{y_i} [1-\pi(x_i)]^{1-y_i}$

对数似然函数：
$\begin{aligned} L(w) &= \sum_{i=1}^N [y_ilog\pi(x_i)+(1-y_i)log(1-\pi(x_i))] \\ &= \sum_{i=1}^N[y_ilog \frac{\pi(x_i)}{1-\pi(x_i)}+log(1-\pi(x_i))]\\ &=\sum_{i=1}^N[y_i(w•x_i)-log(1+exp(w•x_i))] \end{aligned}$
对 $L(w)$ 求极大值，得到 $w$ 的估计值。

1.4 多项逻辑斯谛回归

上面介绍的是两类分类LR模型，可以推广到多类分类。

假设离散随机变量 $Y$ 的取值集合是 $\{1,2,...,K\}$, 那么多项LR模型是：

$P(Y=k|x) = \frac{exp(w_k•x)}{1+\sum_{k=1}^{K-1}exp(w_k•x)}, \quad k=1,2,...,K-1$

$P(Y=K|x)=\frac{1}{1+\sum_{k=1}^{K-1}exp(w_k•x)}$

这里， $x \in R^{n+1},\quad w_k \in R^{n+1}$ （把 $w•x+b$ 合并写做 $w•x$，所以 $n$ 维变成 $n+1$ 维）