动手学深度学习-线性回归
その他
2022-01-09 15:23:10
訪問数: null
线性模型
- 给定 n n n维输入 x = [ x 1 , x 2 , . . . , x n ] T x = [x_1,x_2,...,x_n]^T x=[x1,x2,...,xn]T
- 线性模型有一个n维权重和一个标量偏差
w = [ w 1 , . . . , w n ] T ， b w = [w_1,...,w_n]^T， b w=[w1,...,wn]T，b
- 输出是输入的加权和
y = ∑ i = 1 n w i x i + b y=\sum_{i=1}^nw_ix_i+b y=∑i=1nwixi+b
- 向量版本： y = < w , x > + b y=<w, x> + b y=<w,x>+b
线性模型可看作单层NN
衡量预估质量
- 比较真实值和预估值，例如房屋售价和估价
- 假设 y y y 是真实值， y ^ \hat{y} y^ 是估计值，计算平方损失：
ℓ ( y , y ^ ) = 1 2 ( y − y ^ ) 2 ℓ(y, \hat{y})=\frac{1}{2} (y-\hat{y})^2 ℓ(y,y^)=21(y−y^)2
参数学习
- 训练损失
- 最小化损失来学习参数
- 将偏差加入权重
- 损失是凸函数，所以满足最优解
总结
- 线性回归是对n维输入的加权，外加偏置
- 使用平方损失来衡量预测值和真实值的差异
- 线性回归有显示解
- 线性回归可以看做是单层神经网络
転載: blog.csdn.net/qq_42899028/article/details/120897214