重点1：一元线性回归与多元线性回归
在记录这次学习笔记之前，先回顾一下线性模型的基本形式：在数学上，线性函数是只拥有一个变量的一阶多项式函数，我们把能够用f(ax+by)=af(x)+bf(y)表示的函数称之为线性函数，而在机器学习过程中，针对线性模型的表示，我们通常这样定义：
给定由d个属性描述的示例X=（X1;X2;X3;X4...;Xd),其中Xi是X在第i个属性上的取值，线性模型试图学的一个通过属性的线性组合来进行预测的函数，即：
f（x）=w1x1+w2x2+w3x3+...+wdxd+b
一般用向量形式写成
f（x）=wTx+b
其中w=（w1;w2;w3;w4...;wd）,w和d学习得到后，就可以确定模型。
一、一元线性回归
首先谈谈什么是回归分析，回归分析（Regression Analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。
当输入属性的数目只有一个时，我们称为一元线性回归。如何确定这条曲线就是最大的任务，我们知道，均方误差是回归任务中最常用的性能度量，因此我们可试图让均方误差最小化，即：
（w*，b*）=argmin（w，d）Σ（f（xi）-yi)^2
这种基于均方误差最小化进行模型求解的方法称为“最小二乘法”，在线性回归过程中，就是试图找到一条直线，使得所有样本到直线上的欧式距离之和最小。求解最小化结果中的w和d的过程称为线性回归模型的最小二乘“参数估计”。
二、多元线性回归
同样，对比分析，当输入的属性是一个数据集时，我们称为多元线性回归。这时将数据集看作一个矩阵X,其中的每一行对应一个示例，该行的前d个元素对应示例的d个属性值，最后一个元素横置为1，线性回归的模型我们可以表示为：
f(xi)=xiT(XTX)^-1XTy
为了便于观察，我们简写为：
y=wTx+b