机器学习 - 理论 - Latex手推广义线性模型

前言

Vue框架：从项目学Vue
OJ算法系列：神机百炼 - 算法详解
Linux操作系统：风后奇门 - linux
C++11：通天箓 - C++11
python cook book：逐个熟悉常见模块

广义线性模型定义：

指数分布族：

$$p(y;\eta )=b(y)\ast e^{(T(y)\ast {\eta }^T-a(\eta ))}$$

• η:自然参数
• T(y):充分统计量，大多为y
• a(η):log partition function，用于正规化常量，保证 $ \sum{}{}p(y;η) = 1 $

Gaussian分布的指数分布族形式：

• 高斯分布公式：
  $$f(x)=\frac{1}{\sqrt{2\pi }\ast \delta }\ast e^{-\frac{(x-u{)}^2}{2{\delta }^2}}$$
• 线性回归中，δ对于模型参数θ的选择没有影响，为了推导方便我们将其设为1：
  $$p(y;\mu )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}(y-\mu {)}^2}$$
• 分离y^2得：
  $$p(y;\mu )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{1}{2}{y}^2}\ast e^{\mu y-\frac{1}{2}{\mu }^2}$$
• 指数分布族系数：
  $$\eta =\mu$$
  $$T(y)=y$$
  $$a(\eta )=\frac{{\mu }^2}{2}=\frac{{\eta }^2}{2}$$
  $$b(\eta )=\frac{1}{\sqrt{2\pi }}{e}^{\frac{-y^2}{2}}$$

Bernouli分布的指数分布族形式：

• 伯努利分布公式：φ为正面事件发生概率
  $$p(y;\phi )={\phi }^y\ast (1-\phi {)}^{(1-y)}$$
• 逻辑回归服从伯努利分布
  $$p(y=1;\phi )=\phi$$
  $$p(y=0;\phi )=1-\phi$$
• 上底数e，指数取对数得：
  $$p(y;\phi )=e^{y\ast lo{g}^{\phi }}\ast e^{(1-y)\ast lo{g}^{(1-\phi )}}$$
  $$p(y;\phi )=e^{[y\ast lo{g}^{\phi }+(1-y)\ast lo{g}^{(1-\phi )}]}$$
  $$p(y;\phi )=e^{[y\ast lo{g}^{\phi }-y\ast lo{g}^{(1-\phi )}+lo{g}^{(1-\phi )}]}$$
• 合并系数y得：
  $$p(y;\phi )=e^{[y\ast (lo{g}^{\frac{\phi }{1-\phi }})+lo{g}^{(1-\phi )}]}$$
• 套用指数分布族得：
  $$\eta =lo{g}^{\frac{\phi }{1-\phi }}$$
  $$\phi =\frac{1}{1+e^{-\eta }}$$

$$b(y)=1$$
$$T(y)=y$$
$$a(y)=-lo{g}^{(1-\phi )}=lo{g}^{(1+e^{\eta })}$$

广义线性模型建模三大假设：

• 假设1：y的条件概率属于指数分布族
  $$y|x;\theta \backsim ExponentialFamily(\eta )$$
• 假设2：

1. 给定x 广义线性模型的目标是求解$T(y)|x$
2. 不过由于很多情况下$T(y)|x=y$，所以目标为求解$y|x$
3. 也就是拟合函数为$h(x)=E[y|x]$
4. 如逻辑回归的hθ(x) = p(y=1|x;θ) = 0*p(y=0|x;θ)+1*p(y=1|x;θ) = E[y|x;θ]

• 假设3：自然参数η与x是线性关系
  $$\eta ={\theta }^{T}x$$
• 若η为向量，则 $ η_{i} = θ_{i}^{T}x $

广义线性模型推导其他公式

推导线性回归方程

• 线性回归服从的高斯分布：
  $$y|x;\theta \backsim N(\mu ,\theta )$$
• 由假设2，拟合函数 $h(x)=E[y|x]$
  $$h(x)=E[y|x;\theta ]=\mu$$
• 已知高斯分布的广义线性模型：
  $$\eta =\mu$$
• 由此可得：
  $$h(x)=\eta$$
• 由假设三：
  $$h(x)={\theta }^{T}x$$

推导逻辑回归

• 逻辑回归服从的伯努利分布：
  $$y|x;\theta \backsim Bernoulli(\phi )$$
• 由假设2，拟合函数 $h(x)=E[y|x]$
  $$h(x)=E[y|x;\theta ]=\phi$$
• 已知伯努利分布的广义线性模型：
  $$\eta =lo{g}^{\frac{\phi }{1-\phi }}$$
  $$\phi =\frac{1}{1+e^{-\eta }}$$
• 由此可得：
  $$h(x)=\frac{1}{1+e^{-\eta }}$$
• 由假设三：
  $$h(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

推导softmax多分类算法

• y有多种可能取值，每种取值概率也不同：
  $$\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_k\end{array}\right]\cdot \left[\begin{array}{c}{\phi }_1\\ {\phi }_2\\ ...\\ 1-\sum _{i=1}^{k-1}{\phi }_i\end{array}\right]$$
• {y=i} 表示 最终分类到第i类的概率，可以用矩阵T(y)表达：
  $$T(i)=\left[\begin{array}{c}0\\ 0\\ ...\\ 第i个位置为1\\ ...\\ 0\end{array}\right]$$
• 多分类指数分布族：
  $$p(y;\phi )={\phi }_1^{1\ast y=1}\ast {\phi }_2^{1\ast y=2}\ast ...\ast {\phi }_k^{1\ast y=k}$$
  $$p(y;\phi )={\phi }_1^{T(y_1)}\ast {\phi }_2^{T(y_2)}\ast ...\ast {\phi }_k^{T(y_k}$$
• 底数取e，指数取ln：
  $$p(y;\phi )=e^{T(y_1)\ast lo{g}^{{\phi }_1}+T(y_2)\ast lo{g}^{{\phi }_2}+...+(1-\sum _{i=1}^{k-1}T(y_i))\ast lo{g}^{{\phi }_k}}$$
• 将 ${\sum }_{i=1}^{k-1}T(y_i)$ 展开分给前面：
  $$p(y;\phi )=e^{T(y_1)\ast lo{g}^{\frac{{\phi }_1}{{\phi }_k}}+T(y_2)\ast lo{g}^{\frac{{\phi }_2}{{\phi }_k}}+...+T(y_{k-1})\ast lo{g}^{\frac{{\phi }_{k-1}}{{\phi }_k}}+lo{g}^{{\phi }_k}}$$
• 最终得到：
  $$\eta =\left[\begin{array}{c}lo{g}^{(\frac{{\phi }_1}{{\phi }_k})}\\ lo{g}^{(\frac{{\phi }_2}{{\phi }_k})}\\ ...\\ lo{g}^{(\frac{{\phi }_{k-1}}{{\phi }_k})}\end{array}\right]$$
  $$b(y)=1$$

$$a(y)=-lo{g}^{{\phi }_k}$$

• 进一步变型η：
  $${\eta }_i=lo{g}^{(\frac{{\phi }_i}{{\phi }_k})}$$
  $$e^{{\eta }_i}=\frac{{\phi }_i}{{\phi }_k}$$
  $$e^{{\eta }_i}\ast {\phi }_k={\phi }_i$$
  $${\phi }_k\ast \sum _{i=1}^k{e}^{{\eta }_i}=\sum _{i=1}^k{\phi }_i=1$$
  $${\phi }_k=\frac{1}{{\sum }_{i=1}^k{e}^{{\eta }_i}}$$
• 所以：
  $${\phi }_i=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}$$
  $$p(y=i|x;\theta )={\phi }_i$$
• 由假设三得：
  $$p(y=i|x;\theta )=\frac{e^{{\theta }_i^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}$$
• 所以hθ(x)为：
  $$h\theta (x)=E[T(y)|x;\theta ]$$
  $$h\theta (x)=\left[\begin{array}{c}{\phi }_1\\ {\phi }_2\\ ...\\ {\phi }_k\end{array}\right]$$
  $$h\theta (x)=\left[\begin{array}{c}\frac{e^{{\theta }_1^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}\\ \frac{e^{{\theta }_2^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}\\ ...\\ \frac{e^{{\theta }_{k-1}^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}\end{array}\right]$$
• 最大似然估计得：
  $$l(\theta )=\sum _{i=1}^{m}lo{g}^{p(y^i|x^i;\theta )}$$
  $$l(\theta )=\sum _{i=1}^{m}lo{g}^{{\prod }_{l=1}^k(\frac{e^{{\theta }_{k-1}^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}{)}^{1\ast y(i)=l}}$$

后续：

• 博文为博主手写latex推导，需要LinearRegression、LogisticRegression、softmax基础
• 更多背景讲解见于吴恩达机器学习经典课程：stanford - cs229