逻辑回归(logistic regression)推导

逻辑回归是一种分类模型,通过监督学习方法来估计参数。

一、逻辑回归模型:

    逻辑回归模型是如下条件概率分布:

    一个事件的几率指的是该事件发生与不发生概率的比值,即,对数几率是:

    对逻辑回归模型而言,对数几率是:

二、逻辑回归的推导及参数估计

    逻辑回归使用极大似然法来估计模型参数(似然函数越大,代表联合概率分布发生越大,即越满足给定数据集的分布情况)。

    设:

    则似然函数为:,

    对数似然函数:

                                     

                                     

    对L(w)求极大值,得到w的估计值。

    下面问题就变为以对数似然函数为目标函数的最优化问题,可以采用梯度下降法、拟牛顿法等。

    参考书籍:统计学习方法

猜你喜欢

转载自blog.csdn.net/im_chenxi/article/details/80387877