矩阵求导本质上还是函数求导，只是在多变元的情况下，书写形式的改变。 下面公式详细推导流程均可在后面的参考书籍中找到。
线性函数 f ( x ) = b T x f(x) = b^{T}x f(x)=bTx的梯度和Hesse矩阵(二阶导数)：
▽ f ( x ) = ( b 1 , . . . , b n ) T = b ▽ 2 f ( x ) = O \bigtriangledown f(x) = (b_{1}, ..., b_{n})^{T} = b \\ \bigtriangledown^{2} f(x) = O ▽f(x)=(b1,...,bn)T=b▽2f(x)=O
二次函数 f ( x ) = x T A x + b T x + c f(x) = x^{T}Ax+b^{T}x+c f(x)=xTAx+bTx+c的梯度和Hesse矩阵:
令 f 1 ( x ) = x T A x ▽ f 1 ( x ) = A T x + A x = 2 A x （ i f A T = A ） ▽ 2 f 1 ( x ) = A T + A = 2 A （ i f A T = A ） 所 以 有 ： ▽ f ( x ) = 2 A x + b ▽ 2 f ( x ) = 2 A 令f_{1}(x) = x^{T}Ax \\ \bigtriangledown f_{1}(x) = A^{T}x + Ax =2Ax （ifA^{T}=A）\\ \bigtriangledown ^{2} f_{1}(x) = A^{T} + A = 2A （ifA^{T}=A）\\ 所以有：\\ \bigtriangledown f(x) = 2Ax + b \\ \bigtriangledown ^{2} f(x) = 2A 令f1(x)=xTAx▽f1(x)=ATx+Ax=2Ax（ifAT=A）▽2f1(x)=AT+A=2A（ifAT=A）所以有：▽f(x)=2Ax+b▽2f(x)=2A
对于向量函数 F ( x ) = ( f 1 ( x ) , . . . , f m ( x ) ) T F(x) = (f_{1}(x), ... ,f_{m}(x))^{T} F(x)=(f1(x),...,fm(x))T各分量分别对x求偏导数,其中 f m ( x ) 是 关 于 x 的 多 元 函 数 ( x 1 , . . , x n ) f_{m}(x)是关于x的多元函数(x_{1},..,x_{n}) fm(x)是关于x的多元函数(x1,..,xn)，其求导结果为m*n的矩阵，也称为向量函数 F ( x ) F(x) F(x)在x处的Jacobi矩阵。
参考
最优化基础理论与方法（第二版.王燕军等）中第二章节。