简化代价函数与梯度下降

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/up_XCY/article/details/86506352


这种costfunction时由极大似然法得出。
需最小化新的cost function

最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。

首先我们来看看Logistic回归的代价函数:

上面y=1和y=0的代价函数是不同的表达式,我们将其化简合并为同一个表达式:

约定y只能去取0或1.
现将cost的两种情况合并为一种。
使用自锁,将二者分别乘一个系数再相加,以令y取一个值时,另一项为0.

化简后的代价函数:

我们再化简梯度下降算法:

使用梯度下降法,求偏导数。
结果看似与线性回归相同,但是由于h变成了sigmoid函数,所欲实质不同。

线性回归的假设函数是蓝色的表达式,Logistic回归的假设函数是红色的表达式。

猜你喜欢

转载自blog.csdn.net/up_XCY/article/details/86506352