线性回归在统计机器学习中占据了核心地位,最基础的模型。
线性回归有三个特点,打破线性回归的一个或几个特点,就形成了统计机器学习中的众多模型。三个特点如下:
1. 线性:
1.1关于特征x是线性的,
1.2关于参数w是线性的。
1.3从全局看线性组合之后直接输出了结果,没有任何处理。
2. 全局性:对所有的特征空间拟合,不是将特征分段拟合。
3. 数据为加工 :没有降维等。
打破1.1,就有特征转换,比如多项式回归
打破1.2,就有了神经网络
打破1.3,就有了线性分类,比如加激活函数等。
打破2,就有了决策树,对特征空间进行划分,最后划分成很多小区域。
打破3,就有了PCA,流形学习等。
下面谈谈打破1.3,从线性回归到线性分类
一般有两种方法,激活函数和降维。线性分类有硬分类和软分类,硬分类就是将数据映射到{0,1},软分类就是将数据映射到[0,1]。硬分类的代表有感知机和线性判别分析。软分类有两种,一种是生成式模型,比如高斯判别分析和朴素贝叶斯;一种是判别式模型,比如经典的逻辑回归。