向量范数、矩阵范数（L0, L1, L2）

在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。

范数就是距离，计算距离的方法不同，就产生了L0范数、L1范数等等。
在向量范数中：
L0范数：向量中非零元素的数量，严格意义上讲L0范数并不是范数。
L1范数：向量各元素绝对值之和，这种方法叫曼哈顿距离。
L2范数：向量各元素的平方之和在开方，也就是欧式距离也叫欧式范数。
p范数：向量各元素的p次方之和在开p分之一次方。
正无穷范数：向量各元素绝对值中最大的。
负无穷范数：向量各元素绝对值中最小的。

在矩阵范数中：
L1范数：矩阵每列元素绝对值之和的最大值。
L2范数：A^TA的特征值的绝对值的最大值开方。
无穷范数：矩阵每行元素绝对值之和的最大值。
tensorflow中l2范数是每个元素的平方和的二分之一。