版权声明：转载请声名出处，谢谢 https://blog.csdn.net/u010591976/article/details/82494907
目录：
统计公式: 协方差与协方差矩阵
概率公式：全概率 贝叶斯公式
定理：大数定理 中心极限定理
极大释然估计
常见分布的参数估计
统计公式
概率公式
定理
大数定理：
当样本的数量越来越多，那么它的期望值，也就越接近平均值。当大量重复某一实验时，最后的频率无限接近事件概率。
中心极限定理：
在适当条件下，大量相互独立的、随机的变量的均值，经过适当的标准化后，其分布收敛于正态分布。
极大似然估计
- 似然函数
似然（likelihood，可能性的意思），**描述的是事件发生可能性的大小。
设数据D=X1,…,XN为独立同分布（IID）**，其概率密度函数（pdf）为p(x|Ɵ)，则似然函数定义为：
- 极大似然估计（MLE）
定义：使得似然函数L(Ɵ)最大的Ɵ的估计：
在回归原理中用到
log似然函数
性质：
（1） 它和似然函数在相同的位置取极大值
（2） 在不引起混淆的情况下，有时记log似然函数为似然函数
（3） 相差常数倍也不影响似然函数取极大值的位置，因此似然函数中的常数项可以抛弃
（4） 在分类中log似然有时亦称为交叉熵(cross-entropy)损失函数
损失函数 = 负log似然函数，即：
损失函数 = - log p( Ɵ|D)求极大似然估计的一般步骤
（1）选择模型
（2）得到密度函数p(x)
（3）求似然函数L = Ʃ log.p(x)
（4）对似然函数求极值（求导），得到参数估计扫描二维码关注公众号，回复： 3080610 查看本文章
常见分布的参数估计
高斯分布
假设X1,…,XN ~ N (μ, δ2 )，参数为μ, δ2，则高斯分布
参考博客：
https://blog.csdn.net/raintungl/article/details/78188182