广义线性模型|logistics|Odds ratio|最大似然函数|LR|AIC|

广义线性模型

y是分类变量

Link function:将分类变量和数值变量放在一起

使用得到结果0 or 1的概率值来评估选0 or1

函数关系:

正比例函数:

 

logistics函数S型曲线:

 

Odds ratio反应事件发生的倾向性

 

logistics函数与probit regression function很像,但是logistics函数基于二项分布,probit regression function基于正态分布。

probit regression function:正态分布的累计概率曲线

logistics函数不需要独立+方差齐性+正态性。

 

p是怎么根据x变化的,求其偏导:

 

其中,α和β由之前的数据给定,由最大似然估计确定。

正态分布用样本估计总体,取两个点测试不同的假设均值,找到使得似然函数最大,具体就是列出似然函数对μ求导,令导数为零,即找到最大值。以此类推,可以取n个点。求方差也是同理,对SD求导。

 

最终结果是,

 

 

按照以上思路,而不是反求思路得到的图像是:

 

必须是总体正态分布,使用MLE估计参数,此时与最小二乘法等同。如果不是正态分布,则不同。

ANOVA, Pearson’s r, t-test, regression

使用广义线性模型得到的概率,将该概率放回原始数据中,计算其差值,该差值符合卡方分布。LR

 

评价拟合优度的指标:

 

AIC在相同数目的变量解释同一变量时才会有可比性。越小越好。

 

K的选择:如果增大K值是使得likehood变化很大,就要可取,但是如果增大K值是使得likehood变化很小,就不可取。

对于小数据,少于40,扁平化数据,没有充分的重复来解释规律,所以引入了一个修正。修改原始数据量的方法是扩大n减小k

 

猜你喜欢

转载自www.cnblogs.com/yuanjingnan/p/11817295.html