第5章 多变量线性回归
1，多功能
2，多元梯度下降法（Gradient Descent for Multiple variabls）
Hypothesis假设：
Parameters参数：
n+1维向量
Cost function 代价函数：
Gradient descent:
Repeat{
}
每一个j=0,...,n同时更新
3,特征缩放（feature scaling）
如上图，进行梯度下降法，可能要来来回回很多步之后才能到达最优点。
所以可以进行特征缩放，让x1x2的范围足够接近，减少求解步数。
均值归一化，通用的公式，
是x1平均值，s1是x1最大值减最小值，求得范围，也可以用标准差。
这些缩放不用特别精确，目的只是为了加快运行速度。
4，学习率（如何进行调试，如何选择学习率）
很难判断需要多少步收敛，所以经常画出代价函数的曲线来看是否收敛。
取学习率，太大不收敛，太小就太慢
可以多取几个学习率，比如按3的倍数取，逐个试，找到太大和太小的学习率。
取最大可能值，或比最大值略小的。
5，特征和多项式回归（polynomial regression）
观察后觉得，直线不能很好地拟合。采用多项式来拟合。
在多项式拟合情况下，要注意特征缩放，否则特征的范围容易有很大差别。
多项式拟合的模型有多种。
6，正规方程（区别于迭代解法的直接解法）Normal equation
正规方程推导见：https://blog.csdn.net/chenlin41204050/article/details/78220280
最速下降法
优点：在特征变量很多的情况下也能运行很好；
n远大于10^4时，选取它快一些。
缺点：需要选择最优学习率；
需要迭代多次。
正规方程法：
优点：不需要选择最优学习率；
不需要迭代多次。不用画J曲线。
缺点：需要计算，是一个n*n的矩阵，实现的代价以矩阵纬度的三次方增涨，
因此n很大时，计算速度很慢。n小于10^4可以采用。
6，正规方程在矩阵不可逆情况下的解决方法
Octave中，pinv是伪逆，inv是逆。即使不可逆，pinv也可以运行。
出现不可逆，往往有两种原因，一个是有多余的特征值，比如x1和x2是有线性关系的，可以删除多余特征。
另一个是有太多的特征值，比训练样本还要多，可以去掉一些特征值，或者使用正则化的方法。