深度学习与PyTorch笔记3

简单回归案例

梯度下降算法

迭代，求导，算极值。
$x'=x-x^**lr$
$x'$为新值， $x^*$为梯度（导数）， $lr$为学习率，设小一点，慢慢的逼近最优解。
梯度下降的求解器,加了约束，导致求解过程变得更快，最优解的精度变高，目前用的最多的有原始版本的sgd，还有rmsprop，以及最常用的Adam。
$y=w*x+b$
$1.567=w*1+b$
$3.043=w*2+b$

$w=1.477$
$b=0.089$
实际工作中，只能求得最接近 $y$的 $w*x+b$。
有高斯噪声时，
$y=w*x+b+\varepsilon$ $\varepsilon\in\N(0.01,1)$
求解
$loss=(WX+b-y)^2$
$W$、 $X$均为矩阵。 $loss$函数为我们构造的优化目标。
求得合适的 $W$和 $b$使 $loss$值最小,预估 $x_N$、 $y_N$。
$loss=\sum_i(w*x_i+b-y_i)^2$