标准方程法(normal equation)公式推导

最近在看吴恩达的机器学习网课,讲到标准方程法的时候没有给出推导,在参考了两篇博客后推导出来了,记录一下。

机器学习之正规方程法推导

机器学习——线性回归中正规方程组的推导

两篇文章都给出了推导需要的基础知识,本篇所用的核心如下:

首先:

\LARGE X\theta =h_{\theta }(x)

\LARGE J(\theta )=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta }(x_{i})-y_{i})^{2} 1/2m最终等式右边等于零,且不影响求导,故后续公式中省略

所以有:(重点)

\large J(\theta )=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})^{2}=\frac{1}{2m}(X\theta -y)^{T}(X\theta -y)

使用前文给出的基本公式,开始计算d(J(theta))/d(theta):

\LARGE \frac{\mathrm{d} J(\theta )}{\mathrm{d} \theta }=\frac{d(X\theta-y)^{T}*(X\theta-y)}{d\theta }

\LARGE =\frac{d(\theta ^{T}X^{T}X\theta -\theta ^{T}X^{T}y-y^{T}X\theta +y^{T}y)}{d\theta }

\LARGE =X^{T}X\theta +X^{T}X\theta -X^{T}y-X^{T}y

令其等于零,即可得到

\large X^{T}X\theta =X^{T}y

从而:

猜你喜欢

转载自blog.csdn.net/qq_31293215/article/details/83181851