正规方程法是用来求解最优回归系数θ的，，其公式为：
注意我们应该给X添加一个特征，常把它设置为一，并添加一个
系数
- 如下图所示：
如果矩阵X'X结果是不可逆的
通常有两种最常见的原因
第一个原因是 如果不知何故 在你的学习问题
你有多余的功能
例如 在预测住房价格时
如果x1是以英尺为尺寸规格计算的房子
x2是以平方米为尺寸规格计算的房子
同时 你也知道1米等于3.28英尺 ( 四舍五入到两位小数 )
这样 你的这两个特征值将始终满足约束
x1等于x2倍的3.28平方
并且你可以将这过程显示出来 讲到这里 可能 或许对你来说有点难了
但如果你在线性代数上非常熟练
实际上 你可以用这样的一个线性方程 来展示那两个相关联的特征值
矩阵X'X将是不可逆的
第二个原因是 在你想用大量的特征值
尝试实践你的学习算法的时候
可能会导致矩阵X'X的结果是不可逆的
具体地说 在m小于或等于n的时候
例如 有m等于10个的训练样本
也有n等于100的特征数量
要找到适合的 ( n +1 ) 维参数矢量θ 这是第 n+1 维
这将会变成一个101维的矢量
尝试从10个训练样本中找到满足101个参数的值
这工作可能会让你花上一阵子时间
但这并不总是一个好主意
因为 正如我们所看到 你只有10个样本 以适应这100或101个参数
如何选择使用随机梯度下降还是正规方程法求最优回归系数呢？
如何一个样本的特征少于10000个那么选用正规方程法，否则使用随机梯度下降
二者的优缺点比较：
