一,基本形式
给定由d个属性描述的示例x = (x1;x2;...;xd),线性模型试图学得一个通过属性的线性组合来进行预测的函数:
向量形式写成:
其中,w = (w1;w2;...;wd)。
二,线性回归
对于输入的属性数目只有一个的简单情形,线性回归试图学得:
我们使用最小二乘法来求解w,b,即使用均方误差最小化来进行模型求解:
求解w,b的过程称为线性回归模型的最小二乘”参数估计“。
若样本由d个属性描述,此时我们试图学得:
这称为多元线性回归。
现实任务中,若样本的属性数目过多,会出现多个解,他们都能使均方误差最小化。选择哪一个解作为输出,将由学习算法的归纳偏好决定,常见的做法是引入正则化。
线性模型的变化:
考虑单调可微函数g(x),令
这样得到的模型称为”广义线性模型“,其中函数g(x)称为”联系函数“。显然,对数线性回归是广义线性模型在g(x) = ln(x)时的特例。
三,对数几率回归
线性模型除了可以进行回归学习,还可以做分类任务。
对于二分类任务,将广义线性模型中g-(x)函数替换为对数几率函数——
即可得到:
此模型称为”对数几率回归“或者”逻辑回归“,它是一种分类学习方法。
对于其中参数w,b的确定,可通过”极大似然法“来估计,具体内容不再赘述。