3.1 基本形式

线性模型（linear model）试图通过属性的线性组合来进行预测，即
$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b$ ，
一般用向量形式写成
$f(x)=w^Tx+b$ ,
其中w是 $w_i$ 的向量，w和b学得之后，model就确定了。

3.2 线性回归

“线性回归”（linear regression）

“欧氏距离”（Euclidean distance）

“最小二乘法”（least square method）

“参数估计”：求解w和b使 $E(w,b) = \sum_{i=1}^{m}{(y_i - wx_i-b)^2}$ 最小化的过程，称为线性回归模型的最小二乘“参数估计”。
对w和b进行求导，可得到w和b的最优解。

“多元线性回归”（multivariate linear regression）
在这里插入图片描述

“对数线性回归”（loglog-linear regression）： $lny=w^T+b$ ,试图让 $e^{w^T+b}$ 逼近y。

3.3 对数几率回归

线性回归模型产生的预测值 $z=w^Tx+b$ 是实值，需要将实值转换为0/1值。

“单位跃阶函数”

“对数几率函数”（logistic function）： $y = \frac{1}{1+e^{-z}}$ ，是一种sigmoid函数。
在这里插入图片描述
将z实值函数代入logistic function，得到 $y =\frac{1}{1+e^{-(w^Tx+b)}}$ 同理，可变化为 $ln\frac{y}{1-y}=w^Tx+b$
若y视为样本x正例的可能性，则1-y是其反例的可能性，两者比值 $\frac{y}{1-y}$ 称为“几率”，反映x为正例的相对可能性。取对数则得到“对数几率”（log odds）。
以上对应模型为“对数几率回归”（logistic regression）。