多维特征
n：特征量（维度）
m：样本数量
x(i)：第 i 个样本
x(i)j：第 i 个样本的第 j 维度
多元线性回归：
多元的梯度下降法
将多元假设用于梯度下降算法中：
特征缩放
优点：使特征值相近，更快速的收敛
通常将特征的取值约束到 -1 到 1 的范围内，不能太大或者太小
均值归一化：
ui = 样本中 第 i 维度中所有值之和的平均值（例如：在房价预测中，所有房子大小的平均值）。
si = 第 i 维度的最大值 - 最小值（也可以为标准差）。
特征缩放和均值归一化的目的是使特征在一个相近的范围（不需要太精准），更快的收敛。
学习率（α）：
选择合适的学习率α。
观察代价函数曲线，选择合适的α。
通常选择合适的阈值ε（用于自动收敛测试）是相当困难的，为了检查梯度下降算法是否收敛，常选择查看代价函数曲线，而不依靠自动收敛测试。
α过大会导致代价函数振荡或者发散，α过小会导致代价函数收敛太慢，如下图所示。
下图曲线解决方法：通常选择较小的学习率（α）或者代码出错。
通常绘制J(θ)随迭代步数变化的曲线，可以帮助你导清楚到底发生了什么。
为了选择更好的学习率α，通常选择相差10倍（或3倍）的值来测试，然后查看代价函数图，从而找到合理的值。
特征和多项式回归
首先，我们需要选择合适的特征。
创造新特征:
例如有房子临街宽度和垂直宽度，可以确认真正能决定房子大小的特征——面积，即面积这个新的特征能更好决定房子价格。
多项式回归（polynomial regression）：
将多项式拟合到假设模型中，此时特征缩放就非常重要了。
例如在下图用绿色方框的假设预测房价，其中维度值相差很大。
不仅仅只有三项式可以拟合，平方根函数也可以拟合得很好。
通过对数据形状的了解，选择不同的特征，有时可能得到更好的模型。
正规方程
正规方程：
是一种更好的方法求解参数θ的最优值（解析解法），不需要迭代，而是直接一次性求解θ的最优值。
变为矩阵问题（求θ最优解）：
在Octave中：运行 pinv(X’ * X) * X’ * y 即可得到θ的最优值.
优缺点：
| 梯度下降 | 正规方程 |
|---|---|
| 需要选择α | 不需要需要选择α |
| 需要更多的迭代 | 不需要迭代，不需J(θ)曲线来检查收敛性 |
| 当n很大的时候，依然工作良好 | 需要计算 （XT * X）-1，复杂度O(n3),当n很大的时候很慢 |
当n(特征变量)小于10000，选择正规方程，反之选择梯度下降（实际根据计算机的计算速度大致选择用那个方法）。
正规方程在矩阵不可逆情况下的解决方法：
解决方法：
线性相关的向量（有一个是多余的），只需删除一个就好。
太多特征（m <= n）导致，所以需要删除一些特征，或者使用正则化的方法。