认识
是一个经典的二元(y=0 或 y=1) 分类算法, 不是回归
输入特征还是线性回归, 输出是 [0,1] 的一个概率值, 其判别函数的形式为:
\(P(y=1|x) = \frac {1}{1+e^{-\theta ^Tx}}\)
至于为什么是这样的形式, 上篇的logist 函数推导已经说明了,不在赘述啦
\(x = [x_1, x_2, x_3...x_n]\)
- \(\theta = [\theta_0, \theta_1, \theta_2...]\)
\(\theta ^T x = \theta _0 + \theta _1x_1 + \theta_2x_2 + \theta_3x_3...\)
里面的一大坨就是妥妥的线性模型呀.
判别: 当 \(P(y=1|x)\) 的值 大于0.5, 输出 1; 否则输出 0;
分类 vs 回归
对目标函数做一个推演:
\(P(y=1|x) = P= \frac {1}{1+e^{-\theta^T x}}\) 则:
\(P(y=0|x) = 1-P = 1 - \frac {1}{1+e^{-\theta^T x}} = \frac {1+e^{-\theta^T x}-1}{1+e^{-\theta^T x}} = \frac {1}{1+e^{\theta^Tx}}\) (注意, 负号没了,别化简错哦)
则两个类别概率的比值:
\(\frac {P(y=1)}{P(y=0)} = \frac {P}{1-P} = \frac { \frac {1}{1+e^{-\theta^T x}}}{ \frac {1}{1+e^{\theta^Tx}}}\)
\(=\frac {1+e^{\theta^Tx}} {1+e^{-\theta^Tx}}\)
\(=\frac {1+e^{\theta^T x}}{\frac {e^{\theta^Tx + 1}}{e^{\theta ^T}}}\)
\(=e^{\theta^T x}\)
则 log(两个类别概率的比值):
\(ln(\frac {P}{1-P}) = \theta ^Tx\)
这不就是最熟悉的 线性模型了嘛, 也可以这样说:
逻辑回归, 可看作对线性模型做了一个车 "逻辑" 变换, 输出是将值映射到 [0,1], 以0.5为界, 达到分类效果
也就说, 可以用线性的方式来, 研究 logist 这样 非线性的 问题.
模型应用case
| 年龄(x1) | 收入(x2) | 是否买车(1,0) |
|---|---|---|
| 20 | 3 | 0 |
| 23 | 7 | 1 |
| 31 | 10 | 1 |
| 42 | 13 | 1 |
| 50 | 7 | 0 |
| 60 | 5 | 0 |
模型定义为:
\(P(y=1|x, \theta) = \frac {1}{1+e^{\theta'x}}\)
求解出: \(\theta_0 = -0.04, \ \theta_1 = -0.2, \theta_2 = 0.92\)
即模型: \(P(y=1|x, \theta) = \frac {1}{1+e^{-0.04 -0.2 x_1 + 0.92x_2}}\)
- 预测 : 现在来了一个 22岁, 收入是 8的人, 买车的概率为: 0.23 < 0.5 即输出 0 不买 (瞎算的哈)
- 参数1: 年龄 -0.2 表示, 如果年龄增加 1岁, 买车和不买车的概率比值 与之前 降低 \(e^{-0.2} =0.82\) 倍
- 参数2: 收入 0.92 表示, 如果收入 增加1(万), 买与不买的概率比值 比之前 增加 \(e^{0.92} =2.58\)倍
统一形式
从上知逻辑回归是二元(0, 1) 分类嘛, 因此:
\(P(y=1|\theta, x) = \frac {1}{1+e^{-\theta'x}}\)
\(P(y=0|\theta, x) = 1- \frac {1}{1+e^{-\theta'x}} =\frac {1+e^{\theta^Tx}} {1+e^{-\theta^Tx}}\)
将上面两个式子结合起来可写为:
\(P(y|\theta, x) = [P(y=1|\theta, x)]^y + [1-P(y=y|\theta, x)]^{1-y}\)
\(\theta ^T, \ \theta'\) 都表示转置, 不是求导哈, 这样写一来是可以, 二是为了写latex 方便,编辑公式太难了.
y = 1 或 y= 0
目标函数(Loss)
既然是概率问题, 而优化的参数是 theta, 当然采用 极大似然 啦
即将每一个样本点都考虑进来, 概率之积最大的情况下, 对参数 做优化.
\(max \ L(\theta, x) = \prod \limits _{i=i}^n P(y_i |\theta, x_i)\), 标准化后, 等价于:
\(min \ L(\theta, x) =- \prod \limits _{i=i}^n P(y_i |\theta, x_i)\) 将之前的合并形式展开得:
\(L(\theta, x) = - \prod \limits _{i=1} ^n [P(y_i=1|\theta, x_i)]^y [1-P(y_i=1| \theta, x_i)]^{1-y_i}\)
对其取 log, 乘法变加法, 利于推导和能让计算机运算, 毕竟存储 小数是有 "精度的嘛".
\(log[L(\theta, x)] = -\sum \limits_{i=1}^n y \ logP(y_i=1|\theta, x_i) + (1-y_i)log(1-P(y_i=1|\theta, x_i))\)
- y = 0 或 1, 因此将 y 从"次方" 拿下来是合理的
- 目的是最优, 做log变换也是也是成立的
将其写得简洁一波.
令 \(\phi(x) = \frac {1}{1+e^{-x}} \ 即本例的 P(y=1 | x, \theta) = \frac{1}{1+e^{- \theta ^Tx}} 可写为 \phi(\theta'x)\)
则最终loss 可简写为:
\(L(\theta, x) = -\sum \limits _{i=1}^n [y_i log \phi(\theta'x_i)] +[(1-y_i)log(1- \phi(\theta'x_i))]\)
对 theta 求一阶偏导数(求解)
\(\sum\) 表示i..n 求和, 体谅一波 latex 有些难编写
\(\phi(x)' = \phi(x) (1-\phi(x))\) 分数求导即可轻易证明
注意求导的链式法则哦
\(\nabla_{\theta} = (-\sum y_i \frac {\phi(\theta'x_i)(1-\phi(\theta'x_i)) x_i}{\phi(\theta'x_i)} + (1-y_i) \frac {-\phi(\theta'x_i)(1-\phi(\theta'x_i))x_i}{1- \phi(\theta' x_i)})\)
\(=-\sum (x_i[y_i-\phi(\theta' x_i) - (1-y_i)(\phi(\theta'x))])\)
\(=-\sum (x_i[y_i- y_i \phi(\theta' x_i) - \phi(\theta'x_i) + y_i \phi(\theta'x_i)])\)
\(=\sum \phi(\theta'x_i - y_i)x_i\)
其中: \(\phi(x) = \frac {1}{1+e^{-x}} \ 而 \phi(x)' = \phi(x) (1-\phi(x))\)
如需求解参数 theta, 将 \(\phi(x)\) 反代回去即可
即: \(\sum \limits _{i=1}^n \frac {x_i}{1+e^{(y_i - \theta'x_i)}} = 0\)
...
就这样吧, 不想整了, 此处的目的主要在于能求解出 theta 的 一阶偏导数的形式.
证明 loss 函数是凸函数
- 定义证明: \(f(ax + (1-a)y) \le af(x) + (1-a)f(y)\)
一阶展开: \(f(x + a) > f(x) + af(x)' + e_i\)
求二阶导: 海塞矩阵 Hessian Matrix 是 半正定即可.
Hessian: 对多元函数求二阶偏导数构成的矩阵啦.
栗子: 二元函数 f(x, y) 的Hessian: [[二阶偏x, 偏x偏y], [偏y偏x, 偏y]], 组成2x2的矩阵
半正定: \(\forall _x \ 满足x^TAx \ge 0\) , 则A是半正定
简单证明
$
由上L(\theta, x) = \frac {-1}{n} \sum ylog\phi(\theta^tx) + (1-y)log(1-\phi(\theta^tx)) \
其中 \phi(x) = \frac{1}{1+e^{-x}}, \phi(x)^{'} = \phi(x)(1-\phi(x)) \
里面是一个复合函数, 只需证明 log(\phi(theta^x))的二阶导数"\ge0" \
对于 F(x) = log\phi(\theta^tx) \
F(\theta)^{'} = \frac{\phi(\theta^tx)(1-\phi(\theta^tx))}{\phi(\theta^tx)} = 1-\phi(\theta^tx) >= 0 \
F(\theta)^{''} = (\frac{1}{1+e^{-\theta^tx}})' = \frac{e^{-\theta^tx}}{(1+e^{-\theta^tx)^2}} >= 0 \
因此目标函数是凸函数.
$
严格证明
已知损失函数为:
\(L(\theta, x) = -\sum \limits _{i=1}^n [y_i log \phi(\theta'x_i)] +[(1-y_i)log(1- \phi(\theta'x_i))]\)
\(\phi(x) = \frac {1}{1+e^{-x}}\), 易推得 \(\phi(x)' = \phi (x) (1-\phi(x))\)
y = 1或0
其实,只需考虑 \(f(\theta, x) = -log \phi(\theta'x)\) , 第二项 其实跟第一项是一样的(log 的性质, 展开, 不信自己推).
先对 theta 求一阶导:
\(\nabla _\theta = -\frac {\phi(\theta' x)(1-\phi(\theta'x))}{\phi(\theta'x)}x = [\phi(\theta' x) -1]x\)
再对 theta 求二阶导:
\(\nabla^2_\theta = \nabla _\theta([\phi(\theta'x) -1]x)\)
跟 x 没有关系,看作常数, 只跟 theta 相关
注意求导的链式法则哦
x 是向量
\(=\phi(\theta'x)(1-\theta'x)xx\)
\(=\phi(\theta'x)(1-\theta'x)xx^T\)
用半正定判别式: \(z^T Az 的符号\)
\(\forall_z \ z^T \phi(\theta'x)(1-\phi(\theta'x))xx^T z\)
其中,
\(\phi(\theta'x)(1-\phi(\theta'x))\) 是实数, 可以移动位置
x, z 都是列向量
即调换下位置可为:
\(\phi(\theta'x)(1-\phi(\theta'x)) z^T xx^T z\)
\(z^Tx\ 和 xz^T 是相等的 表示内积, 是个实数,\)
即可再化简为:
\(\phi(\theta'x)(1-\phi(\theta'x))( z^T x)^2\)
因为 \(\phi(x) \in [0,1]\) 所以该式子 大于或等于0 恒成立, 第二项也类似, 两个半正定的线性组合, 也是半正定, 即证海塞矩阵是半正定的, 即证 loss 是 凸函数
总体感觉, 逻辑回归的推导, 相对于 SVM 还是要简单许多的呀, 都不用对偶, 直接偏导就可以了, 难度也不大, 但用处却是非常大的, 结合了线性模型, 同时, 它是凸函数, 意味着求解时, 可以通过梯度下降法来找到全局最优解 . 毕竟是我最喜欢的三个算法之一了, 另两个是 SVM 和 决策树, 当然 LR已经包含了呀.
逐步将经典的ML算法都手推一遍, 才本质上来认识世界, 真的能到达
随心所欲不逾矩呢?
还是,
万物并作,吾以观复?