机器学习-回归分类

线性回归

假设

$$H_{\theta }(x)={\theta }^{T}x$$
目标函数为

$$\frac{1}{2}\sum _{i=1}^m(H_{\theta }^{(i)}(x)-y^i{)}^2$$

求导后获得单个实例的梯度下降公式

$${\theta }_j:={\theta }_j-(H_{\theta }^{(i)}(x)-y^i)x_j^{(i)}$$

使用法方程法则假设

$$X\theta =Y$$

求解

$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$

分类

基于线性回归的思想，一个直观的想法：

对于二分类问题，类别标签分别为$1$和$0$,将分类问题使用线性回归求解，之后按照 $0.5$为界限来划分两类数据。

问题:线性回归进行分类容易受到异常值的影响

解决方法:

• Logistic回归: 减小离分类平面较远点的权重
• SVM:只考虑决定最大分类平面的点(支持向量)

Logistic回归

逻辑函数:

$$g(z)=\frac{1}{1+e^{-z}}$$

特性:

$$g(z{)}^{\prime }=g(z)(1-g(z))$$

分类假设:

$$H_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
$$P(y=1|x;\theta )=H_{\theta }(x)$$
$$P(y=0|x;\theta )=1-H_{\theta }(x)$$

则可以获得似然函数

$$L(\theta )=\prod _{i=1}^m{H}_{\theta }(x^{(i)}{)}^{y^i}+(1-H_{\theta }(x^{(i)}){)}^{(1-y^i)}$$

$$l(\theta )=\sum _{i=1}^m{y}^{i}log{H}_{\theta }(x^{(i)})+(1-y^i)log(1-H_{\theta }(x^{(i)}))$$

求导后获得梯度上升公式

$${\theta }_j:={\theta }_j+(y^i-H_{\theta }^{(i)}(x))x_j^{(i)}$$

softmax分类

logistic在多分类的推广

$$H_{\theta }(x^{(i)})=\left[\begin{array}{c}P(y^{(i)}=1|x^{(i)};\theta )\\ ...\\ ...\\ ...\\ P(y^{(i)}=k|x^{(i)};\theta )\end{array}\right]=\frac{1}{Z}\left[\begin{array}{c}{e}^{{\theta }_1^T{x}^{(i)}}\\ ...\\ ...\\ ...\\ e^{{\theta }_1^T{x}^{(i)}}\end{array}\right]$$

似然函数为

∑ i = 1 m ∑ j = 1 k 1 { y ( i ) = k } l o g e θ j T x ( i ) ∑ t = 1 k e θ 1 T x ( i ) \sum_{i=1}^{m}\sum_{j=1}^{k} 1\{y^{(i)}=k\}log\frac{e^{\theta_j^Tx^{(i)}}}{\sum_{t=1}^ke^{\theta_1^Tx^{(i)}}} i=1∑m​j=1∑k​1{ y(i)=k}log∑t=1k​eθ1T​x(i)eθjT​x(i)​

感知器算法

使得错误分类的点个数最少

$$g(z)=\{\begin{array}{r}1;z>0\\ -1;z<0\end{array}$$

目标函数为误分类点到超平面的总距离

$$\sum _{x\in M}-\frac{1}{\left|w\right|}{y}^{(i)}(w{x}^i+b)$$

由于主要关注错误分类点的个数，舍弃$\frac{1}{|w|}$

$$\sum _{x\in M}-y^{(i)}(w{x}^i+b)$$

SVM算法

支持向量与分隔平面的距离最大化

函数边界 ${\hat{r}}^{(i)}=y^{(i)}(w^T{x}^{(i)}+b)$
几何边界 $r^{(i)}=\frac{y^{(i)}(w^T{x}^{(i)}+b)}{|w|}$

目标为最小几何边界最大，也即

$$maxr$$
$$s.t.\frac{y^{(i)}(w^T{x}^{(i)}+b)}{\left|w\right|}⩾r$$

也即

$$max\frac{\hat{r}}{|w|}$$
$$s.t.y^{(i)}(w^T{x}^{(i)}+b)⩾\hat{r}$$

缩放$w$和$b$使得$\hat{r}=1$，则

$$min|w{|}^2$$

$$s.t.y^{(i)}(w^T{x}^{(i)}+b)-1⩾0$$

使用拉格朗日乘子法得到其对偶问题，满足KKT条件求解

$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$
$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i{x}_j$$

核函数:解决线性不可分的问题。
映射函数$\varphi$ ，$<x,z>$变为$<\varphi (x),\varphi (z)>$
对应核函数 $K(x,z)=<\varphi (x),\varphi (z)>$

• 线性核
• 高斯核,$\sigma$越大,高维衰减越快，拟合能力变差
• 多项式核

软件界:

$$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{ϵ}_i$$

$$s.t.y^{(i)}(w^T{x}^{(i)}+b)⩾1-{ϵ}_i$$

$${ϵ}_i⩾0,i=1...N$$

SVR: 找出一个超平面,使多有数据到该超平面的距离最小

$$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n({\xi }_i+{\xi }_i^{\ast })$$

$$s.t.y^{(i)}-(w^T{x}^{(i)}+b)\le ϵ+{\xi }_i$$

$$(w^T{x}^{(i)}+b)-y^{(i)}\le ϵ+{\xi }_i^{\ast }$$
$$x{i}_i,{\xi }_i^{\ast }⩾0,i=1...N$$