Logistic回归拓展到多分类

                                          Logistic多分类

转载注明出处：https://blog.csdn.net/ouyangfushu/article/details/84797493

作者：SyGoing

QQ:  244679942

1、概率模型

    逻辑斯蒂回归本来是用于多分类，改变其概率模型函数则可将其拓展到多分类（class num>2）问题。原始逻辑斯蒂回归模型如下（来源为之前的逻辑斯蒂回归模型文章）：

                                           

                                           

                                           

 其中，
                                            

逻辑斯蒂多分类则改写为：

                                          

                                         

                                         

                                         

           公式中可以看出，现在要对K个类别进行分类，若K=2则变为二分类问题的公式。K>2则为多分类， 前K-1个类别表达式为式1表达式，最后一类则为1-式1所得。需要学习的权值向量总共有k-1个。不禁让人想起softmax，但观察可知多项逻辑斯蒂回归模型和softmax还是有区别的，softmax需要的学习的权值向量个数与类别数目相等。

2、损失函数推导

        多项逻辑斯蒂回归模型的推导，同样可以采用极大似然估计进行建模，标签需要进行one-hot编码。写出样本集的似然函数：

                                 

将概率模型带入似然函数并取对数：

                                 

 

                                  

其中上标i表示第i个样本，yik表示样本i在第k类的标签，如果样本不属于该类则yik=0，否则yik=1；表示样本i属于k类的概率。

       优化要求极大似然函数最大，等式右边取负号则变成最小化目标函数。假设其最小值为极值，则对损失函数求偏导，并令其等于零则可求得权值的梯度值。

PS：这公式不忍直视，但是不觉得恶心的时候就能耐心的推导完毕