笔记-logistic回归中的梯度下降法

前面我们讲到,logistic回归函数为:

z=\omega ^{T}x+b

\hat{y}=a=\sigma (z)

使用的损失函数为:\pounds (a,y)=-[y\log(a)+(1-y)\log(1-a)]

假设输入的样本只有两个特征值x_{1},x_{2}。则对于我们要求最小值的损失函数来说,输入的参数为:x_{1},x_{2},\omega _{1},\omega _{2},b。表示成计算图为:

如果数据沿着前向传播的路径,则可以得到损失函数对应于输入的值。如果要使用梯度下降法找到函数的最小值,则需要将数据反向传播。通过反向传播分别得到参数\omega _{1},\omega _{2},b的导数\frac{\partial \pounds }{\partial \omega _{1}},\frac{\partial \pounds }{\partial \omega _{2}},\frac{\partial \pounds }{\partial b}。就可以使用梯度下降法的迭代公式:

\omega _{1}=\omega _{1}-\alpha \frac{\partial \pounds }{\partial \omega _{1}}

\omega _{2}=\omega _{2}-\alpha \frac{\partial \pounds }{\partial \omega _{2}}

b=b-\alpha \frac{\partial \pounds }{\partial b}

来找到最值点啦!

发布了24 篇原创文章 · 获赞 88 · 访问量 8万+

猜你喜欢

转载自blog.csdn.net/SoHardToNamed/article/details/88724966