机器学习基础专题：逻辑回归

逻辑回归

广义线性模型。

原理

输入

训练集数据$T=(x_1,y_1)...(x_M,y_M)$，$x_i\in \mathcal{X}\subseteq R^n$，$y_i\in \mathcal{Y}\subseteq R^K$，二分类 y i ∈ { − 1 , + 1 } y_i \in \{-1, +1\} yi​∈{ −1,+1}

损失函数$Cost(y,f(x))$

学习速率$\alpha$，$\beta$

输出

逻辑回归模型$\hat{f}(x)$

判断函数候选

单位阶跃函数

不连续并且不充分光滑

对数概率函数 Sigmoid

$y=\frac{1}{1+e^{-z}}$
$z=w^{T}x+b$

如果将y视为样本x作为正例的可能性，则1-y是反例可能性，两者的比值y/(1-y)称为几率，反映了x作为正例的相对可能性。上式是在用线性回归模型的预测结果去逼近真实标记的对数几率。

我们可以通过极大似然法来估计w和b。

$l(w,b)={\sum }_{i=1}^{M}lnp(y_i|x_i;w,b)$

$P_w(y=j|x)=\frac{exp(x^T{w}^{(j)})}{{\sum }_{k=1}^{K}exp(x^T{w}^{(k)})}$

损失函数

$cost=-ylog(\hat{p})-(1-y)log(1-\hat{p})$.

我们之所以使用对数概率函数而不是MSE的原因：(1)对数概率函数是一个凸函数；(2) 当误差较大时，对数概率函数可以提供较大的更新。

推导w的MLE。
$$\begin{gathered} w^{\ast }=argma{x}_{x}P(Y|X) \\ =argma{x}_w\prod _{i=1}^{M}P(Y_i|x_i) \\ =argma{x}_w\sum _{i=1}^{M}logP(Y_i|x_i) \\ =argma{x}_w\sum _{i=1}^M[y_{i}log{p}_1+(1-y_i)log{p}_0] \end{gathered}$$

算法

逻辑回归算法

1. 随机初始化$\theta$

2. 计算${\theta }_{j+1}={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m{x}_i[h(x_i)-y_i]$

3. 迭代

在迭代求解时使用高效的优化算法，如LBFGS、信赖域算法。这些求解方法是基于批量处理的，无法高效处理超大规模的数据集，也无法对线上模型进行快速实时更新。

随机梯度下降（SGD）是另一种优化方法，比如google的FTRL算法。

FTRL算法

1. 对于 i ∈ { i ∼ d } i\in\{i \sim d\} i∈{ i∼d}，初始化$z_i=0,n_i=0$

2. 对样本t = 1 to T,

   1. 计算$$x_{t+1,i}=\{\begin{array}{rlr}& 0,& if|z_{t,i}|\le {\lambda }_1\\ & -(\frac{\beta +\sqrt{n_i}}{\alpha }+{\lambda }_2{)}^{-1}(z_{t,i}-sign(z_{t,i}){\lambda }_1),& otherwise\end{array}$$

   2. 计算$p_t=\sigma (x_{t}w)$，使用label函数和预测值$p_t$迭代

   3. 对于i

      $g_i=(p_t-y_t)x_i$

      ${\sigma }_i=\frac{1}{\alpha }(\sqrt{n_i+g_i^2}-\sqrt{n_i})$

      $z_i=z_i+g_i-{\sigma }_i{w}_{t,i}$

      $n_i=n_i+g_i^2$

3. 迭代

建议$\beta$取1。

Reference

• 《美团机器学习实践》by美团算法团队，第三章
• 《机器学习》by周志华，第三、四章
• 白板推导系列，shuhuai007