范数 与 机器学习规则化

• 范数：

非负性：||x|| ≥ 0，且||x|| = 0 当且仅当 x = 0 时成立

齐次性：||k*x|| = |k|*||x||

三角不等式：||x+y|| ≤ ||x|| + ||y||

• 向量范数：

||x||_p =(∑|x_i|^p)^1/p

||x||₀ = ∑|x_i ≠ 0|

||x||₁ = ∑|x_i|

||x||_∞ = max|x_i|

||x||-_∞ = min|x_i|

• 范数规则化：

L0范数规则化：可使得非零参数最少，但不好表示

L1范数规则化：代替L0，使得非零参数尽量少，用于参数选择

L2范数规则化：使得参数尽量普遍较小，用户防止过拟合

参考文献：

https://blog.csdn.net/zouxy09/article/details/24971995

https://blog.csdn.net/bitcarmanlee/article/details/51945271