矩阵与向量的求导常用公式

设矩阵A，向量 $\vec{x}$则有

$\frac{\partial A\vec{x}}{\partial \vec{x}} = A ^ {T} \\ \frac{\partial A\vec{x}}{\partial \vec{x} ^ {T}} = A \\ \frac{\partial (\vec{x} ^ {T}A)}{\partial \vec{x}} = A \\ \frac{\partial (\vec{x} ^ {T}A\vec{x})}{\partial \vec{x}} = (A ^ {T} + A)\vec{x} \\$
特别的，如果 $A = A ^ {T}$（A为对称矩阵），则：
$\frac{\partial (\vec{x} ^ {T}A\vec{x})}{\partial \vec{x}} = 2A\vec{x}$