Andrew Zhang
Tianjin Key Laboratory of Cognitive Computing and Application
Tianjin University
Nov 3, 2015
本文主要讲解我对GLM的理解,并将GLM推广到逻辑回归,线性回归和Softmax回归理论中。
一、指数分布族(ExponentialFamily)
如果一个分布密度函数可以写成如下的形式
其中,
二、GLM的三个假设
1、线性模型的假设
线性模型有如下三条假设
2、广义线性模型的三条假设
广义线性模型需要满足y关于x的条件概率和模型设定三个假设:
假设一:
假设二:对于给定的
假设三:自然参数
3、对GLM三个假设的说明
3.1 假设1的解释
假设一讲的是广义线性模型的核心。广义线性模型广体现在
3.2 假设2的解释
主要是说GLM的输出。输出的
3.3 假设3的解释
对于假设3,意味着在任何出现
三、GLM参数求解
对于GLM模型参数
对于训练样本
后面只需要对公式(3)进行求解,得到使似然函数达到极大值时对应的
四、GLM—逻辑回归
在逻辑回归中,假设类别标签服从伯努利分布
首先我们来推导一下,证明伯努利分布~
对比式(1)可得
根据上式
根据GLM假设3—
公式4-3实际上说的逻辑回归中样本特征
对于指数分布族形式得到的式子
结合公式(4-3)可得
综上,可得逻辑回归模型的数学表达形式如下:
后面的工作就是对于训练样本训练模型得到参数
五、GLM—线性回归
对于线性回归的广义线性模型解释中,需要假设因变量
首先还是先来看看高斯分布的指数分布族变换
令
对应于式子1,可得到如下表达式:
根据GLM假设3—
接下来,利用GLM的第二个假设可以得到GLM模型的输入
综上可得线性回归模型的数学表达形式如下:
接下来,只需要利用极大似然法求解参数
六、GLM—SoftMax回归
SoftMax可以看成是伯努利分布的扩展,伯努利是二分类,SoftMax是多分类。同理就可以得到SoftMax回归所需要的关于类别标签
由于SoftMax回归稍微有点麻烦,首先来对用到的符号进行说明。
设
为了在指数分布族表示的时候更清晰,我们引入(k-1)*1维向量
……
我们用
对于SoftMax,第一步仍旧是转换为指数分布族形式
其中,
有
即
又因为
所以SoftMax对应的GLM一般过程第一步得到
由GLM假设3的向量形式
由于只有k-1个参数,这里仅对于
将公式(6-2,6-3)带公式(6-1)便可以得到Softmax回归模型的数学表达式如下
对于模型的求解,利用训练样本求解极大似然估计即可训练模型得到模型参数
在这里写一个简单的式子,就是模型对于属于
利用GLM第二条假设可知Softmax模型的输出形式如下:
七、GLM小结
总结一下GLM会发现GLM的精髓体现在GLM的第一条假设里面。利用一个分布族来建模,对于不同的输入