【机器学习·线性回归】标量、向量求导

判断：标量对于列向量的导数是行向量。

正确。

标量对于列向量的导数是一个行向量，也称为梯度。假设标量函数 $f$ 依赖于一个 $n$ 维列向量 $\mathbf{x}$，则 $f$ 对于 $\mathbf{x}$ 的导数为：

$$\frac{\partial f}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial f}{\partial x_1}& \frac{\partial f}{\partial x_2}& \cdots & \frac{\partial f}{\partial x_n}\end{array}\right]$$

其中每个偏导数 $\frac{\partial f}{\partial x_i}$ 表示 $f$ 对于 $\mathbf{x}$ 的第 $i$ 个分量的导数。因此，导数是一个行向量，其中每个元素是一个偏导数。

对于标量函数$f(\mathbf{x})$，其中$\mathbf{x}$是列向量，它的导数是一个行向量，记作$\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^{\top }}$。

可以使用链式法则来计算这个导数。假设$\mathbf{x}$是一个$n$维列向量，即$\mathbf{x}={\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]}^{\top }$，其中${}^{\top }$表示向量的转置。则$f(\mathbf{x})$的导数可以写成一个行向量的形式：

$$\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^{\top }}=\left[\begin{array}{cccc}\frac{\partial f(\mathbf{x})}{\partial x_1}& \frac{\partial f(\mathbf{x})}{\partial x_2}& \cdots & \frac{\partial f(\mathbf{x})}{\partial x_n}\end{array}\right]$$

其中每个偏导数都是一个标量，因此$\frac{\partial f(\mathbf{x})}{\partial {\mathbf{x}}^{\top }}$是一个行向量。

$||\mathbf{x}|{|}_2$对 $\mathbf{x}$ 的导数为$2{\mathbf{x}}^{\top }$

假设$\mathbf{x}$是一个$n$维列向量，则$||\mathbf{x}|{|}_2$（L2范数）定义为：

$$||\mathbf{x}|{|}_2=\sqrt{\sum _{i=1}^n{x}_i^2}$$

我们可以使用链式法则来计算$||\mathbf{x}|{|}_2$对 $\mathbf{x}$ 的导数。

首先，令 $f(t)=\sqrt{t}$，则：

$$\frac{\partial f(t)}{\partial t}=\frac{1}{2\sqrt{t}}$$

然后，令 $t=g(\mathbf{x})={\sum }_{i=1}^n{x}_i^2$，则：

$$\frac{\partial g(\mathbf{x})}{\partial x_i}=2x_i$$

因此，根据链式法则，有：

$$\frac{\partial ||\mathbf{x}|{|}_2}{\partial \mathbf{x}}=\frac{\partial f(g(\mathbf{x}))}{\partial \mathbf{x}}=\frac{\partial f(g(\mathbf{x}))}{\partial g(\mathbf{x})}\cdot \frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}=\frac{1}{2\sqrt{g(\mathbf{x})}}\cdot 2\mathbf{x}=\frac{\mathbf{x}}{||\mathbf{x}|{|}_2}$$

其中，$\frac{\partial g(\mathbf{x})}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial g(\mathbf{x})}{\partial x_1}& \frac{\partial g(\mathbf{x})}{\partial x_2}& \cdots & \frac{\partial g(\mathbf{x})}{\partial x_n}\end{array}\right]=\left[\begin{array}{cccc}2x_1& 2x_2& \cdots & 2x_n\end{array}\right]$

因此，$\frac{\partial ||\mathbf{x}|{|}_2}{\partial \mathbf{x}}=\frac{\mathbf{x}}{||\mathbf{x}|{|}_2}$可以写成：

$$\frac{\partial ||\mathbf{x}|{|}_2}{\partial \mathbf{x}}=\left[\begin{array}{c}\frac{\partial ||\mathbf{x}|{|}_2}{\partial x_1}\frac{\partial ||\mathbf{x}|{|}_2}{\partial x_2}⋮\frac{\partial ||\mathbf{x}|{|}_2}{\partial x_n}\end{array}\right]=\left[\begin{array}{c}\frac{x_1}{||\mathbf{x}|{|}_2}\frac{x_2}{||\mathbf{x}|{|}_2}⋮\frac{x_n}{||\mathbf{x}|{|}_2}\end{array}\right]$$

这个结果可以进一步简化为$\frac{\partial ||\mathbf{x}|{|}_2}{\partial \mathbf{x}}=\frac{{\mathbf{x}}^{\top }}{||\mathbf{x}|{|}_2}$，因为$\frac{\mathbf{x}}{||\mathbf{x}|{|}_2}$是一个列向量，其转置即为一个行向量。所以：
$$\partial {\mathbf{x}}^{\top }=\frac{{\mathbf{x}}^{\top }}{||\mathbf{x}|{|}_2}$$

因此，当对$||\mathbf{x}|{|}_2$求导时，得到的结果是$\frac{\partial ||\mathbf{x}|{|}_2}{\partial {\mathbf{x}}^{\top }}=\frac{{\mathbf{x}}^{\top }}{||\mathbf{x}|{|}_2}$。又因为$|\mathbf{x}|2^2=\sum {i=1}^n{x}_i^2$，所以我们可以将$\frac{{\mathbf{x}}^{\top }}{||\mathbf{x}|{|}_2}$进一步简化为：

$$\frac{\partial ||\mathbf{x}|{|}_2}{\partial {\mathbf{x}}^{\top }}=\frac{1}{||\mathbf{x}|{|}_2}{\left[\begin{array}{c}{x}_1{x}_2⋮x_n\end{array}\right]}^{\top }=\frac{2{\mathbf{x}}^{\top }}{2||\mathbf{x}||2}=\frac{2{\mathbf{x}}^{\top }}{\sqrt{{\sum }_{i=1}^n{x}_i^2}}$$

因此，$||\mathbf{x}|{|}_2$对$\mathbf{x}$的导数为$2{\mathbf{x}}^{\top }$。