线性代数——范数

范数

机器学习中，经常使用范数来衡量向量的大小，直观上向量 $\bm x$ 的范数衡量从原点到点 $\bm x$ 的距离， $L^p$ 范数的定义如下：
$||\bm{x}||_p=(\sum_i |x_i|^p)^{\frac{1}{p}}$
其中 $p\in \mathbb R, p\ge1$
范数满足下列性质：
$\bullet f(\bm x)=0\Rightarrow x=0 \\ \bullet f(\bm{x+y})\leq f(\bm x)+f(\bm y) \\ \bullet\forall\alpha\in\mathbb R, f(\alpha \bm x)=|\alpha|f(\bm x)$

$L^2$ 范数

当 $p=2$ 时， $L^2$ 范数称为欧几里得范数，表示从原点到向量 $\bm x$ 点的欧几里得距离。由于在机器学习中使用频繁，经常被略去下表，表示为 $||x||$
一些情况下，人们习惯用平方 $L^2$ 范数替代 $L^2$ 范数，平方 $L^2$ 范数表示为 $||x||^2_2$ 范数

$L^1$ 范数

当 $p=1$ 时，称为 $L^1$ 范数，适用于机器学习问题中零和非零元素之间差异非常重要时：
$||\bm x||_1=\sum_i |x_i|$

$L^0$ 范数

一些人会将“ $L^0$ 范数”用作统计向量中非零元素的个数，但在数学意义上不正确

$L^\infty$ 范数

最大范数 $L^\infty$，表示向量中最大幅值元素的绝对值：
$||\bm A||_F= \sqrt{\sum_{i,j} A_{i,j}^2}$

参考文献

[1] 伊恩·古德费洛, 约书亚·本吉奥, 亚伦·库维尔. 深度学习. 人民邮电出版社. 北京. 2018