机器学习之逻辑回归详解

参考地址:
https://www.zhihu.com/question/65350200
https://github.com/GreedyAIAcademy/Machine-Learning
https://zhuanlan.zhihu.com/p/70587472

线性回归

方程

损失函数

求导

令导数为0,得到

逻辑回归

逻辑回归函数


函数的图像:

逻辑回归函数如何解决二元分类过程?

当P(y=1|x)的值>0.5时输出1,否则输出0

逻辑回归的损失函数


梯度值:

梯度下降法

为什么

似然函数

假设分段函数f(x)结果只两个值0,1,为1的概率为p,为0的概率就是1-p,规范一些,可以描述如下:

我们把训练数据(X,y)代入公式,让矩阵中所有的p(1-p)相乘。

为什么要相乘?有人说是因为要用一个函数将y=0和y=1的形式统一起来,其实不准确,应该是为了“最大似然估计”。
参考:https://www.zhihu.com/question/65350200

推导损失函数

通过最大似然估计,推导出损失函数

推导出梯度值

似然函数:

似然函数,对权值求偏导数

猜你喜欢

转载自www.cnblogs.com/bugutian/p/11123484.html