梯度下降法中负梯度方向是最速下降方向的原因

梯度下降法中负梯度方向是最速下降方向的原因

flyfish

1 三角函数中的特殊值 主要是看Cos的值

2 看一个余弦定理
对于任意三角形，任何一边的平方等于其他两边平方的和减去这两边与它们夹角的余弦的两倍积
$c^{2}=a^{2}+b^{2}-2ab\cos C$

或者是
$\cos C={\frac {a^{2}+b^{2}-c^{2}}{2ab}}.$

余弦定理的使用
在$\triangle{OAB}$中，$| \overrightarrow{BA} |^2 = |\overrightarrow{OA}|^2 + |\overrightarrow{OB}|^2 - 2; |\overrightarrow{OA}|;|\overrightarrow{OB}| \cos{\theta}$

$|\overrightarrow{BA}|^2 = (x_1 - x_2)^2 + (y_1 - y_2)^2$

$|\overrightarrow{OA}|^2 = x_1^2 + y_1^2$，$|\overrightarrow{OB}|^2 = x_2^2 + y_2^2$

$(x_1 - x_2)^2 + (y_1 - y_2)^2 = (x_1^2 + y_1^2) + (x_2^2 + y_2^2)-2|\overrightarrow{OA}||\overrightarrow{OB}| \cos{\theta}$

$|\overrightarrow{OA}||\overrightarrow{OB}| \cos{\theta} =x_1 x_2 + y_1 y_2$

也就是向量点积

设两个向量$\mathbf{a} = \overrightarrow{OA} = (x_1, y_1), \mathbf{b} = \overrightarrow{OB} =(x_2, y_2)$，向量夹角为$\theta$，向量点积的如下：

$$\mathbf{a} \cdot \mathbf{b} = |\mathbf{a}|\cdot|\mathbf{b}| \cos{\theta} = x_1 x_2 + y_1 y_2$$

3 再看泰勒展开

一元的
$\lim_{\Delta x \to 0}\frac{f(x+\Delta x)-f(x)}{\Delta x}=f'(x) \Rightarrow f(x+\Delta x)=f(x)+f'(x)\Delta x+\omicron(x)$

二元的 与多元类似

$$\begin{equation} \begin{aligned} &\lim_{\Delta x \to 0 \ \Delta y \to 0}\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}{\sqrt{(\Delta x)^2+(\Delta y)^2}} \\\\ &=\lim_{\Delta x \to 0 \ \Delta y \to 0}\frac{f(x+\Delta x,y+\Delta y)-f(x,y+\Delta y)+f(x,y+\Delta y)-f(x,y)}{\sqrt{(\Delta x)^2+(\Delta y)^2}} \\\\ &=\lim_{\Delta x \to 0 \ \Delta y \to 0}f'(x)\frac{\Delta x}{\sqrt{(\Delta x)^2+(\Delta y)^2}}+f'(y)\frac{\Delta y}{\sqrt{(\Delta x)^2+(\Delta y)^2}}\\\\ &=f'(x)cos\alpha+f'(y)cos\beta \end{aligned} \end{equation}$$

梯度与单位方向向量的点积就是方向导数

$\vec{a} \cdot \vec{b}=\left|a\right|\times \left|b\right| \times cos(\vec{a},\vec{b})$

$cos(\vec{a},\vec{b})$ 在负梯度方向可得极小值