已知梯度下降的方向为偏导数方向,即为该点的切线(面)方向。以上两张图分别是未经特征缩放处理和经特征缩放处理过的特征图像,由图1可知,由于图像为椭圆形,因此从外面的圆往里面梯度下降时,梯度下降的方向都会改变,未经缩放处理的梯度下降曲曲折折迭代较多次才能从出发点A到目标点B,而图2中由于是多个同心圆(近似),所以每次梯度下降都大致在一个方向,自然迭代次数就少的多。该过程可用数学推导,证明特征缩放的确可以加快梯度下降速度。
Stanford——机器学习中的特征缩放理解(Features Scaling)
猜你喜欢
转载自blog.csdn.net/Luncles/article/details/79551710
今日推荐
周排行