问题3 机器学习 为什么logistics regression是一种分类学习方法？

1. 什么是回归？

线性回归

线性回归是是最好理解的线性模型，它试图使用线性模型去尽可能准确地预测实值输出标记。
比如使用一个线性方程去拟合一些点。

线性回归的分类

(1) 直接线性回归，即使用线性模型是拟合实际值$y$
(2) 对数线性回归，即用线性模型去拟合$lny$，$y$是实际输出
(3) logistics 回归（逻辑回归，对数几率回归）， 使用线性模型拟合 $ln\frac{y}{1-y}$

2. 什么是逻辑回归？

逻辑回归是线性回归在分类问题中的应用。
找一个单调可微线性函数将标记$y$与线性模型的预测值关联起来。
简单的二分类问题用单位阶跃函数：

用对数几率函数(Logistic function)代替不连续的阶跃函数，将实值z转为接近0或1的y值：

$$y = \frac {1}{1+e^{-z}}$$
将 $z=(w^Tx+b)$代入上式，在变形得到 $ln(\frac{y}{1-y})=w^Tx+b$
这个公式表示 用线性回归模型的预测结果去逼近真实标记的对数几率，这就是logistics regression.

3. 为什么说logistics regression是一种分类学习方法？

由2可以知道，给定一个输入x，模型能够把其归类为0或者1两个类别，这是简单的二分类问题。
当要解决多分类问题，通常采用 One-vs-All，亦称 One-vs-the Rest 方法来实现多分类，其将多分类问题转化为了多次二分类问题。假定完成 K 个分类，One-vs-All 的执行过程如下：
(1) 先轮流选中某一类型 i ，将其视为正样本，即 “1” 分类，剩下样本都看做是负样本，即 “0” 分类。
(2) 训练逻辑回归模型得到参数 θ(1),θ(2),…,θ(K) ，即总共获得了 K−1 个决策边界。
这样就能将多个类别分开。

---

更多阅读
Logistic Regression 的前世今生 https://blog.csdn.net/cyh_24/article/details/50359055
机器学习算法系列–logistic回归 https://zhuanlan.zhihu.com/p/35629052
逻辑回归的常见面试点总结 https://www.cnblogs.com/ModifyRong/p/7739955.html
多分类问题 https://yoyoyohamapi.gitbooks.io/mit-ml/content/%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/articles/%E5%A4%9A%E5%88%86%E7%B1%BB%E9%97%AE%E9%A2%98.html