线性模型（二）广义线性模型

在线性回归中，我们是假设目标Y是符合正态分布的。

那么如果Y不符合正态分布呢？

那我们假设Y符合一个更加通用的指数族分布。

借助指数族分布，对响应变量Y的描述将不再局限于正态分布，称观测

 

来自指数族分布，如果其概率密度函数可以表达为如下形式：

 

建立指数分布族：

• 伯努利分布（逻辑回归）

• 高斯分布（正态分布）

• 泊松分布

 

用广义线性模型进行建模：

第一步明确假设：

1. y是指数分布族
2. 由上面的例子中，我们可以看出T(Y)我们是尽可能化为y，所以到最到我们把T(y)|x的目标，转化为y|x的目标。
3. 自然数与x是线性关系，

 

• 伯努利分布（逻辑回归）

• 高斯分布（正态分布）

....

 

求解w，b（逻辑回归）：

跟我们刚刚假设的

因为每一个样本是相互独立的，所以他的似然函数：

我们的目的是求解这个似然函数的最大值，我们可以根据同增同减，把损失函数建立为：

。

 

然后用梯度下降法，更新函数。