【机器学习】函数对向量、矩阵的梯度(向量、矩阵求导)

函数对向量、矩阵的梯度(向量、矩阵求导)

主要讨论实值函数对矩阵或向量的梯度。先给出定义，若函数$f:{\mathbb{R}}^{m\times n}\to \mathbb{R}$，则$\frac{\partial f}{\partial X}$也是一个$m\times n$矩阵，且满足：
$${\left(\frac{\partial f}{\partial X}\right)}_{ij}=\frac{\partial f}{\partial x_{ij}}$$

则表示实值函数对矩阵的梯度，记做${\nabla }_{\mathbf{X}}f$

同样地，若函数$f:{\mathbb{R}}^m\to \mathbb{R}$，则$\frac{\partial f}{\partial x}$也是一个$m$维列向量，且满足：
$${\left(\frac{\partial f}{\partial \mathbf{x}}\right)}_i=\frac{\partial f}{\partial x_i}$$

则表示实值函数对向量的梯度，记做${\nabla }_{\mathbf{x}}f$

总结：实值函数对向量或矩阵的梯度，与该向量或矩阵同型。下面从定义出发，推导机器学习中常用的向量/矩阵梯度公式。

① $\nabla \left({\mathbf{a}}^T\mathbf{x}\right)=\nabla \left({\mathbf{x}}^T\mathbf{a}\right)=\mathbf{a}$
证明：
$$\begin{gathered} \nabla {\left({\mathbf{a}}^T\mathbf{x}\right)}_i=\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial x_i}=\frac{\partial \left({\sum }_j{a}_j{x}_j\right)}{\partial x_i}=a_i \\ \Rightarrow \nabla \left({\mathbf{a}}^T\mathbf{x}\right)=\mathbf{a} \end{gathered}$$

② $\nabla \Vert \mathbf{x}{\Vert }_2^2=\nabla \left({\mathbf{x}}^T\mathbf{x}\right)=2\mathbf{x}$
证明：
$$\begin{gathered} \nabla {\left({\mathbf{x}}^T\mathbf{x}\right)}_i=\frac{\nabla \left({\sum }_j{x}_j^2\right)}{x_i}=2x_i \\ \Rightarrow \nabla \left({\mathbf{x}}^T\mathbf{x}\right)=2\mathbf{x} \end{gathered}$$

③ $\nabla \left({\mathbf{x}}^T\mathbf{A}\mathbf{x}\right)=\left(\mathbf{A}+{\mathbf{A}}^T\right)\mathbf{x}$
证明：
$$\begin{gathered} LHS=\nabla \left({\mathbf{x}}_C^T\mathbf{A}\mathbf{x}\right)+\nabla \left({\mathbf{x}}^T{\mathbf{A}\mathbf{x}}_C\right) \\ ={\left({\mathbf{x}}_C^T\mathbf{A}\right)}^T+{\mathbf{A}\mathbf{x}}_C \\ =\left(\mathbf{A}+{\mathbf{A}}^T\right)\mathbf{x} \\ =RHS \end{gathered}$$