《机器学习西瓜书》学习笔记——第三章_线性模型：线性回归&对数几率回归 (附 LogisticRegression - 参数说明）

1. 线性模型_基本形式

线性分类器

给定一些数据点，它们分别属于两个不同的类，现在要找到一个线性分类器把这些数据分成两类。如果用x表示数据点，用y表示类别（y可以取1或者0，分别代表两个不同的类），一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面（hyper plane），这个超平面的方程可以表示为（ wT中的T代表转置）

$\omega^T$ $x$ + $b=0$

所以，线性模型向量形式为：
$\hat{y} = \omega^T$ $x$ + $b$

$\omega$ , $b$ 为需要学习的参数

$\omega$ 直观表达了各属性在预测中的重要性，因此线性模型有很好的解释性。

2. 经典的线性模型介绍

线性回归（linear regression） & 对数几率回归（logistic regression）

二者虽然都叫回归，实质不同。简单说回归问题和分类问题区别如下：

回归问题：连续输出，如预测房价
分类问题：离散输出，如二分类问题输出0或1

###2.1线性回归（linear regression）
假设一个样本我们用$ x $来表示，数据集中第k个样本则为$ x_k $。一个样本中存在d个特征值，用一个列向量来表示一个样本$ x_k = (x_k^1;x_k2;x_k^3;…;x_kd) $具有$ d $个特征。$ w $是待学习的权重，因为每个样本中有$ d $个特征，因此$ w $是一个$ d $维的列向量，记为$ w=(w1;w2;w3,…,wd) $。在$ w $和$ b$确定的的情况下，模型就能确定为 $\hat{y} = w^Tx + b$ 。

那么如何确定 $w$ 和 $b$ 的方式呢？其在于衡量$\hat{y} $和$ y $之间的差别。我们用均方误差来衡量模型的性能，试图让均方误差最小化，此时的$ w $和$ b $即为所需。则（$ w^*$,$b* $）=$ arg$min $\sum_{i=1}^m(y_i - \hat{y}_i^2) =$ arg $min$ $\sum_{i=1}^m(y_i - w^Tx_i - b)^2$

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。

线性回归中就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。

求解 $w$ 和 $b$ 使均方误差最小的过程，称为线性回归模型的最小二乘“参数估计”。

设 $d$ =1,则对损失函数L分别对w和b求偏导得：

$\frac{\partial L(w,b)}{\partial w} = -2 \sum_{i=1}^m(x_iy_i - wx_i^2 - bx_i)$

$\frac{\partial L(w,b)}{\partial b} = -2 \sum_{i=1}^m(y_i - wx_i - b)$

令 $\frac{\partial L(w,b)}{\partial b} = 0$ 得 $b = {1\over m}\sum_{i=1}^m(y_i - wx_i)$

令 $\frac{\partial L(w,b)}{\partial w} = 0$ 得 $w={\sum_{i=1}^my_i(x_i-\overline x) \over \sum_{i=1}^mx_i^2 - {1\over m}( \sum_{i=1}^mx_i)^2}$

其中 $\overline x$ = $\sum_{i=1}^mx_i$ 为 $x$ 的均值。

上面的公式推导是基于x的维度d=1的情况，在更一般的情况下d并不等于1，也就是我们一开始讨论的 $y^=w^Tx+b$ ，此时线性模型叫做多元线性回归。

为了方便讨论，记 $\hat{w} = (w;b), X=(x_1^T,1; x_2^T, 1; ...; x_m^T, 1)$ ,

那么 $\hat{y} = X\hat{w}$ ，

损失函数为 $L(w,b)=L(\hat{w})=(y-X\hat{w})^T(y-X\hat{w})$

$L(\hat{w})$ 对 $\hat{w}$ 求偏导: $\frac{\partial L(\hat{w})}{\hat{w}} = 2X^T(X\hat{w} - y)$

令偏导等于0，得 $\hat{w}^* = (X^TX)^{-1}X^Ty$ 由此确定模型。

在现实任务中，大量变量时，可求解出多个 $\hat{w}$ 都能使均方误差最小化，选择哪一个解作为输出可由学习算法的归纳偏好决定，可引入正则化项。

PS:对数线性回归

即让模型预测值逼近 $y$ 的衍生物
ln $y$ = $w^Tx+b$ , 让 $e^{w^Tx+b}$ 逼近 $y$ ,

该式仍为线性回归，但已求输入空间到输出空间的非线性函数映射

一般的，单调可微g( .)，
$y=g^{-1}(w^Tx+b)$

称为“广义线性模型”，g(.)为联系函数。对数线性回归是其一种特例。

----------9/5 23:48 敲公式敲到脑壳疼^^

2.2对数几率回归（logistic regression）

logistic回归算法描述：
在这里插入图片描述
Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。
假设函数：
在这里插入图片描述
其中x是n维特征向量，函数g就是logistic函数。

可以看到，将无穷映射到了(0,1)。

而假设函数就是特征属于y=1的概率。

在这里插入图片描述
从而，当我们要判别一个新来的特征属于哪个类时，只需求 $h_\theta(x)$ 即可，若 $h_\theta(x)$ 大于0.5就是y=1的类，反之属于y=0类。

线性模型做分类任务：用一个单调可微函数将分类任务的真实标记 $y$ 与线性回归模型的预测值联系起来。

线性回归模型产生的预测值 $z=\omega^Tx+b$ 为实值，将实职 $z$ 转换为0/1,完成2分类。单位阶跃函数符合理想情况：
这里写图片描述
单位阶跃函数不连续，不能直接用作上述联系函数，对数几率函数logistic function是一定程度上近似单位阶跃函数的“替代函数”。

logistic function是一种Sigmoid函数，单调可微，将z值转化为一个接近0或1的y值，输出值在z=0附近变化很陡。

Sigmoid函数即形似S的函数，logistic function是Sigmoid函数的最重要代表。

logistic function：
这里写图片描述
替换 $z$ :

变化后：

$y$ 为样本为正例的可能性，1- $y$ 为其反例的可能性，比值 $y\over{1-y}$ 称为“几率”，反应了 $x$ 作为正例的相对可能性。

logistic function优点：

直接对分类可能性进行建模，无需事先假设数据分布，避免了假设分布不准确带来的问题。
不仅预测出类别，还可得到近似概率预测。
logistic function是任意阶可导的凸函数，许多数值优化算法可直接用于求取最优解。

我们可通过最大似然法maximum likelihood method(后期博客详解)估计 $w$ 和 $b$ 的值：
这里写图片描述
　即另每个样本属于其真实标记的概率越大越好，后面的求解可通过梯度下降法gradient descent method、牛顿法Newton method求解。

LogisticRegression 参数说明

附官方英文文档详解：
http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html#sklearn.linear_model.LogisticRegression

class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, 
tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, 
random_state=None,solver=’liblinear’, max_iter=100, multi_class=’ovr’, 
verbose=0, warm_start=False, n_jobs=1)[source]¶

参数 |意义| 备注
-------- | —
| penalty | 惩罚项，str类型，可选参数为l1和l2，默认为l2 | 用于指定惩罚项中使用的规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，加约束的情况下，理论上应该可以获得泛化能力更强的结果。另newton-cg、sag和lbfgs求解算法只支持L2规范。
|dual|对偶或原始方法，bool类型，默认为False。|对偶方法只用在求解线性多核(liblinear)的L2惩罚项上。当样本数量>样本特征的时候，dual通常设置为False。
|tol|停止求解的标准，float类型，默认为1e-4 |即求解到多少的时候停止，认为已经求出最优解。
|c|正则化系数λ的倒数，float类型，默认为1.0，必须是正浮点型数。|像SVM一样，越小的数值表示越强的正则化。
|fit_intercept|是否存在截距或偏差，bool类型，默认为True。|指定是否应将常量（a.k.a. bias或intercept）添加到决策函数中。|
|intercept_scaling |float类型，默认为1。| 仅在正则化项为”liblinear”，且fit_intercept设置为True时有用。【注意】合成特征权重与所有其他特征一样经受l1 / l2正则化。为了减小正则化对合成特征权重（并因此对截距）的影响，必须增加intercept_scaling。
|class_weight |用于标示分类模型中各种类型的权重，可以是一个字典dict或 ’balanced’ 字符串，默认为None，即不输入，不考虑权重| 如果选择输入的话，可以选择balanced让类库自己计算类型权重，或者自己输入各个类型的权重。举个例子，比如对于0,1的二元模型，我们可以定义class_weight={0:0.9,1:0.1}，这样类型0的权重为90%，而类型1的权重为10%。如果class_weight选择balanced，那么类库会根据训练样本量来计算权重。某种类型样本量越多，则权重越低，样本量越少，则权重越高。当class_weight为balanced时，类权重计算方法如下：n_samples / (n_classes * np.bincount(y))。n_samples为样本数，n_classes为类别数量，np.bincount(y)会输出每个类的样本数，例如y=[1,0,0,1,1],则np.bincount(y)=[2,3]。 |
|random_state|随机数种子，int类型，可选参数，默认为无|仅在正则化优化算法为sag,liblinear时有用。
|solver|优化算法选择参数，有五个可选参数，即newtoncg, lbfgs, liblinear, sag,saga。默认为liblinear。| solver参数决定了我们对逻辑回归损失函数的优化方法，有五种算法可以选择，分别是： liblinear：使用开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。sag：即随机平均梯度下降，是梯度下降法的变种，和普通梯度下降法的区别是每次迭代仅仅用一部分的样本来计算梯度，适合于样本数据多的时候。saga：线性收敛的随机优化算法的的变种。 对于小型数据集，‘liblinear’是一个不错的选择，而 'sag’和’saga’对于大型的更快。对于多类问题，只有’newton-cg’，‘sag’，‘saga’和’lbfgs’处理多项损失; ‘liblinear’仅限于one-vs-rest方案。‘newton-cg’， ‘lbfgs’和’sag’只处理L2惩罚，而’liblinear’和’saga’处理L1惩罚。请注意，“sag”和“saga”快速收敛仅在具有大致相同比例的要素上得到保证。您可以使用sklearn.preprocessing中的缩放器预处理数据。版本0.17中的新功能：随机平均梯度下降求解器。版本0.19中的新功能：SAGA slover。
|max_iter|算法收敛最大迭代次数，int类型，默认为100|仅在正则化优化算法为newton-cg, sag和lbfgs才有用，算法收敛的最大迭代次数|
|multi_class|分类方式选择参数，str类型，可选参数为’ovr’和’multinomial’，默认为’ovr’。|ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元逻辑回归，ovr和multinomial并没有任何区别，区别主要在多元逻辑回归上。多类选项可以是’ovr’或’multinomial’。 如果选择的选项是’ovr’，那么二进制问题适合每个标签。另外，最小化损失是整个概率分布中的多项式损失拟合。不适用于liblinear解算器。版本0.18中的新功能：“多项式”案例的随机平均梯度下降求解器。|
|verbose|日志冗长度，int类型。默认为0|0就是不输出训练过程，1的时候偶尔输出结果，大于1，对于每个子模型都输出|
|warm_start|热启动参数，bool类型。默认为False。|如果为True，则下一次训练是以追加树的形式进行（重新使用上一次的调用作为初始化），否则，只需擦除以前的解决方案。对于liblinear解算器没用。|
|n_jobs|并行数,int类型，默认为1。|1的时候，用CPU的一个内核运行程序，2的时候，用CPU的2个内核运行程序。为-1的时候，用所有CPU的内核运行程序。

注：

1. class_weight的作用

在分类模型中，我们经常会遇到两类问题：
第一种是误分类的代价很高。比如对合法用户和非法用户进行分类，将非法用户分类为合法用户的代价很高，我们宁愿将合法用户分类为非法用户，这时可以人工再甄别，但是却不愿将非法用户分类为合法用户。这时，我们可以适当提高非法用户的权重。
第二种是样本是高度失衡的，比如我们有合法用户和非法用户的二元样本数据10000条，里面合法用户有9995条，非法用户只有5条，如果我们不考虑权重，则我们可以将所有的测试集都预测为合法用户，这样预测准确率理论上有99.95%，但是却没有任何意义。这时，我们可以选择balanced，让类库自动提高非法用户样本的权重。提高了某种分类的权重，相比不考虑权重，会有更多的样本分类划分到高权重的类别，从而可以解决上面两类问题。
###2. solver总结
liblinear适用于小数据集，而sag和saga适用于大数据集因为速度更快。
对于多分类问题，只有newton-cg,sag,saga和lbfgs能够处理多项损失，而liblinear受限于一对剩余(OvR)。啥意思，就是用liblinear的时候，如果是多分类问题，得先把一种类别作为一个类别，剩余的所有类别作为另外一个类别。一次类推，遍历所有类别，进行分类。
newton-cg,sag和lbfgs这三种优化算法时都需要损失函数的一阶或者二阶连续导数，因此不能用于没有连续导数的L1正则化，只能用于L2正则化。而liblinear和saga通吃L1正则化和L2正则化。
同时，sag每次仅仅使用了部分样本进行梯度迭代，所以当样本量少的时候不要选择它，而如果样本量非常大，比如大于10万，sag是第一选择。但是sag不能用于L1正则化，所以当你有大量的样本，又需要L1正则化的话就要自己做取舍了。要么通过对样本采样来降低样本量，要么回到L2正则化。
从上面的描述，大家可能觉得，既然newton-cg, lbfgs和sag这么多限制，如果不是大样本，我们选择liblinear不就行了嘛！错，因为liblinear也有自己的弱点！我们知道，逻辑回归有二元逻辑回归和多元逻辑回归。对于多元逻辑回归常见的有one-vs-rest(OvR)和many-vs-many(MvM)两种。而MvM一般比OvR分类相对准确一些。郁闷的是liblinear只支持OvR，不支持MvM，这样如果我们需要相对精确的多元逻辑回归时，就不能选择liblinear了。也意味着如果我们需要相对精确的多元逻辑回归不能使用L1正则化了。
###3. OvR和MvM的区别
OvR的思想很简单，无论你是多少元逻辑回归，我们都可以看做二元逻辑回归。具体做法是，对于第K类的分类决策，我们把所有第K类的样本作为正例，除了第K类样本以外的所有样本都作为负例，然后在上面做二元逻辑回归，得到第K类的分类模型。其他类的分类模型获得以此类推。
而MvM则相对复杂，这里举MvM的特例one-vs-one(OvO)作讲解。如果模型有T类，我们每次在所有的T类样本里面选择两类样本出来，不妨记为T1类和T2类，把所有的输出为T1和T2的样本放在一起，把T1作为正例，T2作为负例，进行二元逻辑回归，得到模型参数。我们一共需要T(T-1)/2次分类。
可以看出OvR相对简单，但分类效果相对略差（这里指大多数样本分布情况，某些样本分布下OvR可能更好）。而MvM分类相对精确，但是分类速度没有OvR快。如果选择了ovr，则4种损失函数的优化方法liblinear，newton-cg,lbfgs和sag都可以选择。但是如果选择了multinomial,则只能选择newton-cg, lbfgs和sag了。

##总结：

优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低。
缺点：容易欠拟合，分类精度可能不高。
其他：

Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数，求解过程可以由最优化算法完成。
改进的一些最优化算法，比如sag。它可以在新数据到来时就完成参数更新，而不需要重新读取整个数据集来进行批量处理。
机器学习的一个重要问题就是如何处理缺失数据。这个问题没有标准答案，取决于实际应用中的需求。现有一些解决方案，每种方案都各有优缺点。
我们需要根据数据的情况，这是Sklearn的参数，以期达到更好的分类效果。