统计学习II.7 广义线性模型1 指数分布族

---

这一部分介绍广义线性模型，这是一类监督学习方法，通常用来构造分类器等。考虑 { ( X i , Y i ) } i = 1 N \{(X_i,Y_i)\}_{i=1}^N { (Xi​,Yi​)}i=1N​，广义线性模型通常假设$Y_i$服从某种指数分布族。因此这一部分先介绍指数分布族，然后介绍基于不同指数分布族导出的广义线性模型的不同效果。

---

指数分布族的定义

用$p(x|\theta )$表示某个密度函数，称它是指数分布族(exponential family)如果：
$$p(x|\theta )=h(x)\exp ({\theta }^T\varphi (x)-A(\theta ))$$

根据密度函数的归一性，
$$\begin{gathered} \int p(x|\theta )dx=\int h(x)\exp ({\theta }^T\varphi (x)-A(\theta ))dx \\ =\exp (-A(\theta ))\int h(x)\exp ({\theta }^T\varphi (x))dx=1 \end{gathered}$$

于是

$$A(\theta )=\log Z(\theta ),Z(\theta )=\int h(x)\exp ({\theta }^T\varphi (x))dx$$

其中$\theta$被称为natural parameter，$\varphi (X)$是这个指数族的充分统计量（基于Fisher-Neyman定理），$Z(\theta )$是partition function，$A(\theta )$是cumulant function，如果$\varphi (X)=X$，称这样的指数族为自然指数族(natural exponential family)。

指数分布的另一种形式为
$$p(x|\theta )=h(x)\exp (\eta (\theta {)}^T\varphi (x)-A(\eta (\theta )))$$如果$\dim (\theta )<\dim (\eta (\theta ))$，称之为curved exponential family，此时充分统计量的数目比参数多；如果$\dim (\theta )=\dim (\eta (\theta ))$，称之为canonical form；

指数分布族的例子

Bernoulli分布

$$p(x|\mu )={\mu }^x(1-\mu {)}^{1-x}=\exp (\varphi (x{)}^T\theta )$$

其中
$$\varphi (x)=[1_{x=0},1_{x=1}{]}^T,\theta =[\log (\mu ),\log (1-\mu ){]}^T$$

这并不是一个好的表示，因为 x ∈ { 0 , 1 } x \in \{0,1\} x∈{ 0,1}，$1^T\varphi (x)=1$，也就是说$\varphi (x)$的两个分量是线性相关的，这会导致在估计的时候$\theta$只有一个方程。一种更好的表示方法是
$$p(x|\mu )=(1-\mu )\exp \left[x\log \left(\frac{\mu }{1-\mu }\right)\right]=\exp (\varphi (x{)}^T\theta )=\exp (\varphi (x{)}^T\theta )$$

其中
$$\varphi (x)=x,\theta =\log \left(\frac{\mu }{1-\mu }\right)$$

称$\theta$为log-odds ratio；从natural parameter还原为$\mu$的函数是sigmoid函数
$$\mu =sigm(\theta )=\frac{1}{1+e^{-\theta }}$$

Multinoulli分布

$$p(x|{\mu }_1,\cdots ,{\mu }_K)=\prod _{k=1}^K{\mu }_k^{x_k}=\exp \left[\sum _{k=1}^{K-1}{x}_k\log \left(\frac{{\mu }_k}{{\mu }_K}\right)+\log {\mu }_K\right]$$

其中
$$\sum _{k=1}^K{\mu }_k=1$$

于是
$$p(x|\theta )=h(x)\exp ({\theta }^T\varphi (x)-A(\theta ))$$其中
$$\begin{gathered} \theta =[\log \frac{{\mu }_1}{{\mu }_K},\cdots ,\log \frac{{\mu }_{K-1}}{{\mu }_K}{]}^T,\varphi (x)=[1_{x=1},\cdots ,1_{x=K-1}{]}^T \\ A(\theta )=\log \left(1+\sum _{k=1}^{K-1}{e}^{{\theta }_k}\right) \end{gathered}$$

从natural parameter还原到$\mu$的方法为
$$\{\begin{array}{l}{\mu }_k=\frac{e^{{\theta }_k}}{1+{\sum }_{j=1}^{K-1}{e}^{{\theta }_j}},k=1,\cdots ,K-1\\ {\mu }_K=\frac{1}{{\sum }_{j=1}^{K-1}}{e}^{{\theta }_j}\end{array}$$

指数分布族的性质

性质1
$$\frac{dA}{d\theta }=E[\varphi (X)]$$

直接计算这个导数即可，下面的两个性质也都是直接计算导数
$$\frac{dA}{d\theta }=\frac{d}{d\theta }\log \int h(x)\exp ({\theta }^T\varphi (x))dx=\int \varphi (x)p(x|\theta )dx$$

性质2
$$\frac{d^{2}A}{d{\theta }^2}=Var[\varphi (X)]$$

性质3
$${\nabla }^{2}A(\theta )=Cov(\varphi (X))$$

指数分布族的MLE

指数分布族MLE的moment matching equation
假设$X_1,\cdots ,X_N{\sim }_{iid}p(x|\theta )$, 似然函数为
$$L(\theta |X_1,\cdots ,X_N)=\left[\prod _{i=1}^{N}h(X_i)\right]\exp \left({\theta }^T\sum _{i=1}^N\varphi (X_i)-NA(\theta )\right)$$

对数似然为
$$\log L(\theta |X_1,\cdots ,X_N)=\log \left[\prod _{i=1}^{N}h(X_i)\right]+{\theta }^T\sum _{i=1}^N\varphi (X_i)-NA(\theta )$$

考虑MLE满足的方程
$$\nabla \log L(\theta |X_1,\cdots ,X_N)=\sum _{i=1}^N\varphi (X_i)-N\nabla A(\theta )=\sum _{i=1}^N\varphi (X_i)-NE[\varphi (X)]=0$$

也就是
$$E[\varphi (X)]=\frac{1}{N}\sum _{i=1}^N\varphi (X_i)$$

这里$\varphi (X)$是指数分布的充分统计量，称这个方程为moment matching equation，它的含义是充分统计量的样本均值等于理论均值。

指数分布族的贝叶斯方法

指数分布族是一个共轭分布族
我们把似然函数写成下面的形式：
$$L(\theta |X_1,\cdots ,X_N)\propto g(\theta {)}^N{e}^{\eta (\theta {)}^T{s}_N},s_N=\sum _{i=1}^{N}s(X_i)$$

引入指数函数族先验，
$$p(\theta |n{u}_0,{\tau }_0)\propto g(\theta {)}^{{\nu }_0}{e}^{\eta (\theta {)}^T{\tau }_0}$$

则后验为
$$p(\theta |{\nu }_0+N,{\tau }_0+s_N)\propto g(\theta {)}^{{\nu }_0+N}{e}^{\eta (\theta {)}^T({\tau }_0+s_N)}$$