读西瓜书：3.1/3.2/3.3章

3.1 线性模型

线性模型

• $f(x)=w_1x_1+w_2x_2+...+w_dx_d+b \tag{3.1}$

向量形式

• $f(x)=w^Tx+b \tag{3.3}$

为什么是线性模型呢？

• (补充：PRML 3.1）这里x可以是高阶， 重点是w是线性就行了，如果x也是线性那么会给模型带来局限性，此时可以引入基函数 $\phi(x)$ $f(x)=w^T\phi(x)+b \tag{3.2}$

优点

• 简单，易于建模，可解释性好

3.2 线性回归

线性回归

• 给定数据集 $D=\{(x_1,y_1),(x_2,y_2),...,(x_,,y_m)\}$，其中 $x_i$可以是多维的， $y_i$属于实数集.

• LR试图学一个线性模型去拟合真实值 $f(x)=wx_i+b$ 使得 $f(x_i)\simeq y_i$

• 离散属性处理：若有“序”，则连续化；否则，转化为 k 维向量

如何确定参数

• 度量函数：这里选用均方误差

  • $E(f;D)=\frac{1}{m}\sum_{i=1}^m(f(x_i)-y_i)^2\tag{3.4}$

• 令均方误差最小化，有

  • $(w^*,b^*)\\=argmin_{(w,b)}\sum_{i=1}^m(f(x_i)-y_i)^2\\=argmin_{(w,b)}\sum_{i=1}^m(y_i-wx_i-b)^2 \tag{3.5}$

• 对 $E_{(w,b)}=\sum_{i=1}^m(y_i-wx_i-b)^2$ 进行最小二乘参数估计

  • 因为3.5式是凸函数，分别对 w 和 b 求导
  • 令导数为0，得闭式解

多元线性回归

• 如果用以上参数估计法，涉及矩阵求逆
  • 若 $X^TX$ 满秩或正定，则 $\hat{x}^*=(X^TX)^{-1}X^Ty$
  • 若不满秩，则有多个解，此时需看归纳偏好或引入正则化

线性模型的变化

• 对数线性归回
  • $lny=w^Tx+b \tag{3.6}$
• 更一般的，考虑单调可微函数 $g(·)$， $g(·)$ 称为联系函数，实质是线性回归后映射到另一个函数空间
  • $y=g^{-1}(w^Tx+b) \tag{3.7}$

3.3 对数几率回归

极大最后一式等于极小它的负数，因为该式是关于 $\beta$高阶可导连续凸函数，所以可以用凸优化理论优化。

总结

线性模型关键是参数是线性的，其中存在两种变化

• 输入可以变换基
  • 比如多项式 ( $x,x^2 ,x^3...x^n$)
  • 这是为了拟合真实数据的变化尺度
  • 尺度相当则模型表达会更好
• 输出可以通过联系函数映射到新的空间
  • 特别的，当联系函数为 sigmoid function 时，此时的线性回归称为逻辑回归
  • 逻辑回归属于判别式模型，采用极大释然进行参数估计，由此引出交叉熵

（后话）参数一多容易过拟合，但参数多能保证模型的表达能力，此时需要引入正则项，可以等于贝叶斯派中引入的先验。

参考
周志华. 机器学习. 3.1/3.2/3.3.
Bishop. Pattern Recognition And Machine Learning. 3.1.
李宏东. 模式分类（译）. 2.2贝叶斯决策论.