1 模型概述
假设有如下数据：
其中样本数据的类别y在给定的情况下服从伯努利分布
不同类别的样本数据又分别服从不同的多元高斯分布（这里假设两个高斯分布具有同样的方差）
2 损失函数
高斯判别模型的损失函数为其log似然，要估计的参数θ为
然后用极大似然估计
3 参数估计
为了方便起见， 定义标签为1的样本个数为N1，标签为0的样本个数为N2，则有N1+N2=N
3.1 估计 Φ
ϕ只存在于③式中，因此求解ϕ只需要看③式即可：
3.2 求解μ1
μ1只存在于①式中，因此求解μ1只需要看①式即可：
3.3 求解μ2
求解μ2和μ1 类似
3.4 求解Σ
我们令
和Σ有关的是①和②：
先看通项
导数为0，于是有：
在线性代数笔记：标量、向量、矩阵求导_UQI-LIUWJ的博客-CSDN博客 中，我们有：
于是
两边同时左乘&右乘一个 ，有：
即：
4 总结
对于一组样本数据
当我们知道样本数据的类别y在给定的情况下服从伯努利分布，
同时不同类别的样本数据又分别服从不同的多元高斯分布（这里假设两个高斯分布具有同样的方差）时
y落入分类1的概率Φ为
，即属于分类1的y的占比
属于分类1的x的均值为：
，即属于分类1的那些xi向量的均值
属于分类0的x的均值为：，即属于分类0的那些xi向量的均值
不同分类的x的协方差为：即属于分类1和0的向量xi的协方差的平均