【机器学习】【线性代数】之矩阵求导

转载出处：https://blog.csdn.net/u010976453/article/details/54381248

目录

1、X是标量时

1.1  标量Y对标量X求导

1.2  向量Y对标量X求导

1.3  矩阵Y对标量X求导

2、X是向量时

2.1  标量Y对向量X求导

2.2  向量Y对向量X求导

2.3  矩阵Y对向量X求导

3、X是矩阵时

4、常用公式

矩阵求导（Matrix Derivative）也称作矩阵微分（Matrix Differential）

布局约定

事实上，所有求导的法则都可以从最基本的求导规则推导出来。不同的文献中，同样的式子求导的结果有时候会不一样，仔细观察会发现刚好相差一个转置，于是我们得先说说求导的两个派别（布局）。

布局（Layout）：在矩阵求导中有两种布局，分别为分母布局(denominator layout)和分子布局(numerator layout)。这两种不同布局的求导规则是不一样的。 

1、X是标量时

1.1  标量Y对标量X求导

这种情况就是我们平时的一般求导，

1.2  向量Y对标量X求导

 

1.3  矩阵Y对标量X求导

2、X是向量时

2.1  标量Y对向量X求导

2.2  向量Y对向量X求导

 

2.3  矩阵Y对向量X求导

3、X是矩阵时

4、常用公式