在之前的学习2020/01/02 深度学习数学基础学习——朴素贝叶斯中，大概的了解了生成学习的原理，但是对算法实现的__完整流程__不够清晰，所以今天想通过对生成学习回顾，明确一下生成学习的流程框架。
学习资料：斯坦福CS229-note2-Generative Learning algorithms的1.2节
必要的概念
类别先验概率： \(P(c)\)
类条件概率： \(P(\vec x | c)\) ,其中\(\vec x=(x_{1},x_{2},...,x_{m}); m为属性\)，\(\vec x\)可以想象成特征向量
举例: 当类别\(c\)是西瓜时，1号属性值\(x_{1}\)为4的概率。
类别后验概率： \(P(c|\vec x) \Leftrightarrow P(f_{\vec \theta}(\vec x)|\vec x) \Leftrightarrow P(\vec \theta|\vec x)\)（就是机器学习器）
举例： 当1号属性值\(x_{1}\)为4时，类别\(c\)是西瓜的概率。
步骤提炼
- 我们有一个数据集，它的样本是\((\vec x_{1}, \vec x_{2}，...\vec x_{i}, ..., \vec x_{n})\)， 这些样本对应的标签是\((y_{1}, y_{2}, ...,y_{i}, ..., y_{n})\)。我们可以认为这个数据集是从这样一个分布 \((随机向量 \vec X, 随机变量Y)\) 中采样得到的，当然这个分布我们并不知道是什么，生成学习的目的 就是要 通过 有限的数据集（观测样本） 去估计这个分布 \((随机向量 \vec X, 随机变量Y)\) ，从而做出后续的决策 。
- 至于为什么是联合分布 \((随机向量 \vec X, 随机变量Y)\) 而不是后验分布 \((随机变量Y | 随机向量 \vec X)\) ，这是由贝叶斯规则简化得到的： \(\begin{aligned} \arg \max _{y} p(y | x) &=\arg \max _{y} \frac{p(x | y) p(y)}{p(x)} =\arg \max_{y} p(x | y) p(y) = \arg \max_{y} p(x, y) \end{aligned}\)
- 为了估计这个分布 \(P(随机向量 \vec X, 随机变量Y) == P(随机向量 \vec X | 随机变量Y)P(随机变量Y)\) ，我们需要了解\(P(随机向量 \vec X | 随机变量Y)\) 和 \(P(随机变量Y)\) 都是什么。 \(P(随机变量Y)\) 是类别先验概率，它可以通过统计样本中类别出现频次统计得到。 \(P(随机向量 \vec X | 随机变量Y)\) 是类别条件概率，由于我们事先并不知道它的分布，因此这里是我们的预测的关键！，那我们如何对它建模呢？最简单的方法就是假设！最为一般的我们假设它服从 多元（维）高斯分布-CS229-note2-1.1节。