机器学习：正规方程参数θ的推导过程

多变量线性回归代价函数为：

其中： 

正规方程是通过求解下面的方程来找出使得代价函数最小的参数：

设有m个训练实例，每个实例有n个特征，则训练实例集为：

 
其中表示第i个实例第j个特征。

特征参数为：

输出变量为：

故代价函数为：

进行求导，等价于如下的形式：

求导公式：

• 其中第一项：

• 第二项：

 
该矩阵求导为分母布局下的标量/向量形式： 
故有， 

• 第三项：

 
该矩阵求导为分母布局下的标量/向量形式： 
故有： 

• 第四项：

 
其中为标量，可看成一个常数。 
该矩阵求导为分母布局下的标量/向量形式： 
故有： 

综上，正规方程为：

最终可得特征参数的表示：

多变量线性回归代价函数为：