线性回归原理

1. 线性回归的模型函数和损失函数

对于m个样本,n维特征,

如果y是连续的,则是回归问题,否则是分类问题。

它的线性回归模型是: θi (i = 1,2...n)是参数,xi (i = 1,2...n)是每个样本的n个特征。

这里增加一个特征 x0 = 1,得到

矩阵形式的线性回归模型hθ(x) = xΘ,其中hθ(x)为mx1的向量,θ为nx1的向量,x为mxn维的矩阵。

一般线性回归用均方误差作为损失函数。线性回归损失函数表达式:

矩阵形式的线性回归损失函数

2. 线性回归算法

常用两种方法求线性回归损失函数的最小值:梯度下降法最小二乘法

梯度下降法,θ的跌代公式:

最小二乘法,θ的迭代公式:

猜你喜欢

转载自www.cnblogs.com/keye/p/10844943.html
今日推荐