机器学习（周志华）读书笔记---第3章 线性模型

3.1 基本形式
线性模型试图学得一个通过属性的线性组合来进行预测的函数

线性模型优点：
（1）形式简单，易于建模
（2）可解释性
非线性模型可以通过引入层次结构或高维映射而得

3.2 线性回归
线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记

最小二乘法：令均方误差最小（欧氏距离），来确定w和b

得到此时w和b的值（闭式解）

对于多元线性回归，同样可用最小二乘估计

若可逆

其中

若不可逆，有多个解，通过正则化选择最佳的。

线性回归 也可利用梯度下降法确定预测函数（看PPT）

或者随机梯度下降：

梯度下降与最小二乘对比：

线性模型的变化：

输出标记的对数作为线性模型毕竟的目标

利用联系函数构造广义线性模型

3.3 对数几率回归

为了做分类任务，用对率函数（sigmoid）作为联系函数

可将y视为后验概率，那么

用极大似然来估计w与b

最大化 对数似然：

求3.4

3.4 线性判别分析

LDA思想：设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类尽可能远离。

LDA的目标：

3.5 多分类学习

多分类学习有多种方法：OV0(一对一)、OVR（一对其余）、MVM（多对多）