1、线性回归问题（Linear Regression）
原理：线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为：
说白了就是求数据之间关系的一种形式。在最简单的一元线性回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。
用途：线性回归的用途主要分为以下两种。
1、给定一个变量y和一些变量X1,…,Xn，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的Xi，并识别出哪些Xi的子集包含了关于y的冗余信息。
2、如果目标是预测或者映射，线性回归可以用来对观测数据集Y的值和X的值拟合出一个预测模型，例如分析房价与面积的关系等。当完成这样一个模型以后，对于任意新增的X值，在没有给定与它相配对的Y的情况下，可以用这个拟合过的模型预测出一个Y值。根据已发现的规律以及趋势，预测未来。虽然，线性回归和方差都是需要因变量为连续变量，自变量为分类变量，自变量可以有一个或者多个，但是，线性回归增加另一个功能，就是用回归方程预测未来。这个回归方程的因变量是一个未知数，也是一个估计数，虽然估计，但是，只要有规律，就能预测未来。
场景：
以吴恩达的机器学习课程为例。吴恩达在课程中举的例子是房价与面积的关系。
假设我们有一组数据，是一些房子的面积和价格。如下
| 面积 | 31 | 35 | 37 | 59 | 70 | 76 | 88 | 101 |
|---|---|---|---|---|---|---|---|---|
| 价格 | 1100 | 1399 | 1377 | 1800 | 2304 | 2588 | 3495 | 4840 |
在坐标系中画出：
如果y的值是连续的，这就是一个回归问题，如果y的值是离散的，这就是一个分类问题。那下面开始学习线性回归。显然，这是一个回归问题，也可以称之为线性回归问题。
线形模型简单来说就是直角坐标系中的一根线，表示为：
这里 w和b 就是我们要优化的参数。换句话说，我们要通过接下来写的一套算法，找到最优的 w和 b 。很明显，人眼来看上面的图，直接可以画出一条斜线。但对于机器来说，这个事就有点困难了。假设我们先给定一组初始参数a=1,b=0,画一条线。由于横坐标和纵坐标尺度相差过大容易致使训练过慢，因此我们对数据统一做一个归一化处理，所有数据均除以该组中的最大值，取值范围统一归置到[0,1]。
再对数据做过预处理之后，我们现在就来评判y=x(a=1,b=0)y=x(a=1,b=0) 这条线多大程度上完成了预测。显然的，我们会用到我们的训练数据代入到模型 y=x 中，看看和实际结果差多少。通过模型得到的结果我们称之为预测值yp
| 面积(x) | 0.0 | 0.0714 | 0.1 | 0.4143 | 0.5714 | 0.6571 | 0.8286 | 1.0 |
|---|---|---|---|---|---|---|---|---|
| 价格(y) | 0.0 | 0.0864 | 0.0741 | 0.1872 | 0.3220 | 0.3980 | 0.6405 | 1.0 |
| 预测值(yp) | 0.0 | 0.0714 | 0.1 | 0.4143 | 0.5714 | 0.6571 | 0.8286 | 1.0 |
| 差值(yp−y) | 0 | -0.015 | 0.0259 | 0.2271 | 0.2494 | 0.2592 | 0.1880 | 0 |
通过差值可以很明显的看出预测和实际真值有一定的差距，那么如何定量描述这种差距呢？通常我们会用差值的平方和来表示，如下
接着把每一个平方和的值做一个累加，得到一个值0.2172。我们一共有8组数据，再把这个数除以8。然后再除以2，就得到了一个我们称之为loss的数值0.01357,写成公式就是下面这样：
这种求loss的方法称之为Mean Squared Error (MSE), 即均方差。
接下来的目标很明确，就是
如何不断的调整参数a,b 来使loss越来越小，最终令预测尽可能接近真实值。
从这一点出发，很多人做了很多不同的工作，我们将这些方法统称为优化函数。