Regression: Output a scalar

回归算法就是通过测试数据训练出 $f*$ ，实验数据通过 $f*$ 可以预测数合理的数值结果。

常用的场景有：股市预测领域，道琼斯工业指数预测；无人驾驶领域，在某种情形下汽车方向盘的偏转角度；营销领域，客户是否购买预测；Pokemon游戏中宠物进化后的CP值预测等等。

以Pokemon游戏为例

step 1 假设模型为线性模型： $y = b + \sum w_i x_i$ ，其中 $b: bias$ ， $w_i:weight$ ， $x_i:x_{cp},x_{hp},x_w,x_h.....$

step 2 函数优劣评判标准Loss Function， $L(f) = \sum^{10}_{n=1} ( \hat{y}^n - f(x{_{cp}}^{n}))^{2}$ <=> $L(w,b) = \sum^{10}_{n=1} ( \hat{y}^n - (b + w\cdot x{_{cp}}^{n}))^{2}$

step 3 找到最优的函数 $f*$ ， $f* = \arg \min_f L(f)$ <=> $w*, b* = \arg \min_f L(w,b) = \arg \min_{w,b} \sum^{10}_{n=1} ( \hat{y}^n - (b + w\cdot x{_{cp}}^{n}))^{2}$

Gradient Descent：梯度下降法

可以通过梯度下降法解决计算问题，通过对w和b分别求偏微分，逐步演进，最终得到最优函数的w和b的值，从而得到 $f*$

$L(w,b) = \sum^{10}_{n=1} ( \hat{y}^n - (b + w\cdot x{_{cp}}^{n}))^{2}$

$\frac{\partial L}{\partial w} = \sum^{10}_{n=1} 2 ( \hat{y}^n - (b + w\cdot x{_{cp}}^{n})) (-x{_{cp}}^{n})$

$\frac{\partial L}{\partial w} = \sum^{10}_{n=1} 2 ( \hat{y}^n - (b + w\cdot x{_{cp}}^{n})) (-1)$

梯度下降算法的局限性，世上没有万能的方法，梯度下降算法在某些情况下会失灵，会陷入鞍点和局部最小。但一般情况下梯度下降算法还是有用的。

尝试其他的线性模型

$y = b + w\cdot x_{cp}$
$y = b + w_1\cdot x_{cp} + w_2 \cdot x_{cp}^2$
$y = b + w_1\cdot x_{cp} + w_2 \cdot x_{cp}^2 + w_3 \cdot x_{cp}^3$
$y = b + w_1\cdot x_{cp} + w_2 \cdot x_{cp}^2 + w_3 \cdot x_{cp}^3 + w_4 \cdot x_{cp}^4$
$y = b + w_1\cdot x_{cp} + w_2 \cdot x_{cp}^2 + w_3 \cdot x_{cp}^3 + w_4 \cdot x_{cp}^4 + w_5 \cdot x_{cp}^5$