在进行对向量的求导时，非常好用的三个公式～

在进行对向量的求导时，非常好用的三个公式
分别是
1.对于向量x求导 $\nabla_x w^Tx=w$
2.对向量x求导 $\nabla_x x^TAx=(A+A^T)x$其中x为向量，A为矩阵
3.对向量x求二阶导（即Hessian矩阵） $\nabla ^2 x^TAx=A+A^T$

---

详细的证明
1.对于向量x求导
$\nabla_x w^Tx=w$
证明：
$w^Tx=\begin{pmatrix}w_1&w_2&...&w_n\end{pmatrix}\cdot\begin{pmatrix}x_1\\x_2\\...\\x_n\end{pmatrix}\\ =\sum\limits_{i=1}^nw_ix_i$
所以对 $x_i$求导，对应的导数为 $w_i$
故 $\nabla_x w^Tx=w$

---

2.对向量x求导
$\nabla_x x^TAx=(A+A^T)x$
其中x为向量，A为矩阵

证明：
对于二次型 $x^TAx$
$x^TAx=\begin{pmatrix}x_1&x_2&...&x_n\end{pmatrix}\begin{pmatrix} a_{11}&a_{12}&...&a_{1n}\\a_{21}&a_{22}&...&a_{2n}\\.\\.\\a_{n1}&a_{n2}&...&a_{nn}\end{pmatrix}\begin{pmatrix}x_1\\x_2\\...\\\\x_n\end{pmatrix}\\ =\begin{pmatrix}x_1&x_2&...&x_n\end{pmatrix}\begin{pmatrix}a_{11}x_1+a_{12}x_2+...+a_{1n}x_{n}\\a_{21}x_1+a_{22}x_2+...+a_{2n}x_n\\...\\a_{n1}x_1+a_{n2}x_2+...+a_{nn}x_n\end{pmatrix}\\ =a_{11}x_1x_1+a_{12}x_1x_2+...+a_{1n}x_1x_n+a_{21}x_2x_1+a_{22}x_2x_2+...+a_{2n}x_2x_n +...+a_{n1}x_nx_1+a_{n2}x_nx_2+...+a_{nn}x_nx_n \\ =\sum\limits_{i=1}^n\sum\limits_{j=1}^na_{ij}x_ix_j$
其中，若只对 $x_1$求导则整理上式
$x^TAx=a_{11}x_1x_1+\sum\limits_{i=2}^na_{i1}x_ix_1+\sum\limits_{j=2}^na_{1j}x_{j}x_1+c$
对 $x_1$求导，则上式为
$2a_{11}x_1+\sum\limits_{i=2}^na_{i1}x_i+\sum\limits_{j=2}^na_{1j}x_{j}\\ =\sum\limits_{j=1}^na_{1j}x_{j}+\sum\limits_{j=1}^na_{1j}x_{j}\\ =A[1,:]\cdot x +A^T[1,:]\cdot x$
由此可知，对x求导后，导数为
$(A+A^T)\cdot x$

---

3.对向量x求二阶导（即Hessian矩阵） $\nabla ^2 x^TAx=A+A^T$

证明：
对于二次型 $x^TAx=\sum\limits_{i=1}^n\sum\limits_{j=1}^nx_ix_ja_{ij}$
而海森矩阵的每一个元素 $H_{ij}=\frac{\partial ^2f}{\partial x_i\partial x_j}$

如求 $H_{ij}$
则需要找到原等式中，存在 $x_ix_j$的项
故 $H_{ij}=\frac{\partial ^2f}{\partial x_i\partial x_j}=a_{ij}+a_{ji}$
故 $H=A+A^T$

这个二阶偏导数的形式也与一元函数的二阶导数形式上统一