机器学习哪些算法需要归一化

机器学习中需要归一化的算法有SVM,逻辑回归,神经网络,KNN,线性回归,

而树形结构的不需要归一化,因为它们不关心变量的值,而是关心变量分布和变量之间的条件概率,如决策树,随机森林,对于树形结构,树模型的构造是通过寻找最优分裂点构成的,样本点的数值缩放不影响分裂点的位置,对树模型的结构不造成影响,
而且树模型不能进行梯度下降,因为树模型是阶跃的,阶跃是不可导的,并且求导没意义,也不需要归一化

2、对于那些需要归一化的模型,主要是因为特征值相差很大时,运用梯度下降,损失等高线是椭圆形,需要进行多次迭代才能达到最优点,如果进行归一化了,那么等高线就是圆形的,促使SGD往原点迭代,从而导致需要迭代次数较少。

https://blog.csdn.net/qq_34872215/article/details/88363504

发布了273 篇原创文章 · 获赞 1 · 访问量 4671

猜你喜欢

转载自blog.csdn.net/wj1298250240/article/details/104011998