机器学习中L1正则化和L2正则化的区别

L1正则假设参数的先验分布是Laplace分布,可以保证模型的稀疏性,也就是某些参数等于0;

L2正则假设参数的先验分布是Gaussian分布,可以保证模型的稳定性,也就是参数的值不会太大或太小

在实际使用中,如果特征是高维稀疏的,则使用L1正则;如果特征是低维稠密的,则使用L2正则。

最后,附一张示意图。

右侧是L1正则,最优解位于坐标轴上,意味着某些参数是0。 

猜你喜欢

转载自blog.csdn.net/qq_15256443/article/details/85329481