动手学深度学习-线性回归
その他
2022-01-09 15:23:10
訪問数: null
线性模型
- 给定 n n n维输入 x = [ x 1 , x 2 , . . . , x n ] T x = [x_1,x_2,...,x_n]^T x=[x1,x2,...,xn]T
- 线性模型有一个n维权重和一个标量偏差
w = [ w 1 , . . . , w n ] T , b w = [w_1,...,w_n]^T, b w=[w1,...,wn]T,b
- 输出是输入的加权和
y = ∑ i = 1 n w i x i + b y=\sum_{i=1}^nw_ix_i+b y=∑i=1nwixi+b
- 向量版本: y = < w , x > + b y=<w, x> + b y=<w,x>+b
线性模型可看作单层NN
![在这里插入图片描述](https://img-blog.csdnimg.cn/99d26de8c0ed48dca15e3cbcf9441541.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6ZSu55uY5YmN5LiA5aCG5aS05Y-R,size_20,color_FFFFFF,t_70,g_se,x_16)
衡量预估质量
- 比较真实值和预估值,例如房屋售价和估价
- 假设 y y y 是真实值, y ^ \hat{y} y^ 是估计值,计算平方损失:
ℓ ( y , y ^ ) = 1 2 ( y − y ^ ) 2 ℓ(y, \hat{y})=\frac{1}{2} (y-\hat{y})^2 ℓ(y,y^)=21(y−y^)2
参数学习
- 训练损失
![在这里插入图片描述](https://img-blog.csdnimg.cn/188f406508c2466682d79d91420ac044.png)
- 最小化损失来学习参数
![在这里插入图片描述](https://img-blog.csdnimg.cn/211c45bc65a44859a14308a7574d2762.png)
- 将偏差加入权重
![在这里插入图片描述](https://img-blog.csdnimg.cn/19a8a59139e34d259f89e2c254c52de4.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/1e3e22a176244a1d89d258c435c5b2fb.png)
- 损失是凸函数,所以满足最优解
![在这里插入图片描述](https://img-blog.csdnimg.cn/ff0be5d116b941c598b436413c0151a5.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6ZSu55uY5YmN5LiA5aCG5aS05Y-R,size_16,color_FFFFFF,t_70,g_se,x_16)
总结
- 线性回归是对n维输入的加权,外加偏置
- 使用平方损失来衡量预测值和真实值的差异
- 线性回归有显示解
- 线性回归可以看做是单层神经网络
転載: blog.csdn.net/qq_42899028/article/details/120897214