机器学习基石笔记:10 Logistic Regression(LR)

原文地址:https://www.jianshu.com/p/a110a4e96d58

线性分类中的是非题变为逻辑分类中的概率题。在逻辑回归中,设置概率阈值后,大于等于该值的为O,小于改值的为X。

图1 软二分类1

O为1,X为0:

图2 软二分类2
图3 逻辑回归的假设

逻辑函数/S型函数:光滑,单调。自变量趋于负无穷时,因变量趋于0;自变量趋于正无穷时,因变量趋于1;自变量取0时,因变量值为0.5。其能够较好地模拟概率特性。

图4 逻辑函数
图5 三种线性模型

逻辑回归使用交叉熵代价函数:

图6 交叉熵代价函数1
图7 交叉熵代价函数2
图8 交叉熵代价函数3
图9 交叉熵代价函数4
图10 交叉熵代价函数5
图11 交叉熵代价函数6
图12 交叉熵代价函数7
图13 交叉熵代价函数8
图14 交叉熵代价函数9
图15 交叉熵代价函数10

最小化代价函数时,发现无法求出使其值最小的解析解。类比PLA的迭代法,使用梯度下降法求最小值。

图16 梯度下降法1
图17 梯度下降法2
图18 梯度下降法3

\(\eta\):学习速率,与梯度大小有关,正比。
\(v\):方向,单位长度,方向与梯度相反。

图19 梯度下降法4
图20 梯度下降法5
图21 梯度下降法6
图22 梯度下降法7
图23 梯度下降法8
图24 梯度下降法9
图25 逻辑回归的算法流程

猜你喜欢

转载自www.cnblogs.com/cherrychenlee/p/10799374.html