(2-1)逻辑回归LR(Logistic Regression)

算法说明:逻辑回归假设数据模型为努伯利分布,利用极大似然估计构建逻辑回归模型

算法目的:处理分类问题,将连续数据输出离散二进制(0或1)(是否问题)

算法过程:利用sigmiod函数将任意实值映射为[0,1]范围内的值----------->

                 参考极大似然估计的方法得到损失函数(代价函数),得到高阶可导的凸函数------------------>

                 利用梯度下降的方法最终求得 \theta 值,最终得到逻辑回归模型

sigmoid函数:

努伯利分布:                                                                          

         

极大似然估计的对数似然函数:

参考对数似然函数得到损失函数:

单个损失估计:     

整个样本损失:

对于一般逻辑回归,令x=\thetax  或者 (x=\theta ^{T}x),则推导得逻辑回归损失函数为:

其中,y(i)表示运算出的lable(标签),其值为0或1;

X_{b}^{(i)}等于输入的第 i 个数据;

\theta采用梯度下降法求得

最终求得逻辑回归模型:h_{\theta }(x)=P(y=1\mid x,\theta )=

                         

                         

                         

猜你喜欢

转载自blog.csdn.net/qq_40178878/article/details/87915790