向量和矩阵范数

参考:
https://en.wikipedia.org/wiki/Matrix_norm#Frobenius_norm
https://blog.csdn.net/Michael__Corleone/article/details/75213123
数值分析–朱晓临
需要理解的是,范数也是一种函数,是一种度量向量和矩阵大小的函数。它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。

一 、向量范数

暂时没时间写……

二 、矩阵范数

约定:A代表m×n的矩阵,aij代表矩阵内的元素,i表示行,j表示列。
并且有一实例矩阵A如下:
这里写图片描述

矩阵的列范数

矩阵的列范数定义如下:
这里写图片描述
即将矩阵每列看做一个整体,求每列各个元素绝对值的和,取列元素绝对值的和最大的数为矩阵列范数的值。
如对前面提到的3×3的矩阵A,其列范数为:
这里写图片描述

矩阵的行范数

矩阵的行范数的定义为:
这里写图片描述
同矩阵列范数相似,行范数求得是每行元素绝对值的和,取和的最大值。
针对前面提到的实例A的行范数,我们有:
这里写图片描述

矩阵的2范数

矩阵的2范数又称为谱范数,这里写图片描述,λ是A的转置和A相乘得到的矩阵的最大特征值。

矩阵的frobenius范数(F范数)

矩阵的frobenius范数定义为,也叫F-范数,通常也叫做矩阵的L2范数,它是一个平滑的凸函数。定义为:
这里写图片描述
通俗地说,即对应元素的平方和然后再开方。

矩阵的L21范数

矩阵的L21范数可以表达组稀疏,但却是非平滑的,而函数的平滑性与连续可微性有关,即L21范数不是处处可微的。其定义式为:
Ai表示矩阵A的第i列,
这里写图片描述
具体来说,先以矩阵每一列为单位,求每一列的F范数(也可认为是向量的2范数),然后再将得到的结果求L1范数(也可认为是向量的1范数)。

矩阵的L0范数

L0范数求得就是矩阵中非0元素的个数。通常用L0来表示稀疏,L0范数越小0元素越多,也就越稀疏。但是L0不可导,所以常常使用L1范数来代替L0。

矩阵的L1范数

L1范数求得是矩阵中的每个元素绝对值之和,它是L0范数的最优凸近似,因此它也可以表示稀疏。但是L1范数是一个非平滑的函数,即不是处处可微的。对于梯度下降算法是无法求解包含L1范数的目标函数的。

矩阵的核范数

矩阵的核范数即:矩阵的奇异值(将矩阵svd分解)之和,这个范数可以用来表示低秩(因为最小化核范数,相当于最小化矩阵的秩——低秩)。

猜你喜欢

转载自blog.csdn.net/chaolei3/article/details/81186474