什么是线性回归？
线性回归模型就是指因变量和自变量之间的关系是直线型的。类似于一元线性回归：
给定一组数据集,
它的线性组合函数为
参考链接：线性回归预测法
什么是损失函数？
损失函数：衡量预测值与真实值之间的误差。一般采用均方误差
,其中
为线性回归求解的值，
为实际值
整体的均方误差为
其中
什么是优化函数？
上面所说的线性函数以及损失函数，相对来说比较简单，这类预测求解的称为解析解（analytical solution）。涉及到较复杂层面，比如深度学习，我们一般通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。
推荐链接：如何理解随机梯度下降
