七月算法机器学习 8 信息论、最大熵模型与EM算法

目录

主要内容

有监督学习

先验概率与后验概率

最大似然法估计

自信息

熵:自信息的期望

互信息

信息论与机器学习的关系

最大熵原理


主要内容
 

 统计学习基础回顾
1.后验概率 2.极大似然法(MLE)
 信息论基础
1.(互)信息 2.熵、条件熵 3.交叉熵、相对熵
 最大熵模型
1. 凸优化理论推导Maxent 2.与MLE的关系
 EM算法
1. GMM实例 2. MLE推导EM

有监督学习
 

先验概率与后验概率
 

最大似然法估计
 

自信息
 

熵:自信息的期望
 

最值在三者相同的地方

互信息

信息论与机器学习的关系
 

最大熵原理
 

猜你喜欢

转载自blog.csdn.net/moonlightpeng/article/details/107022267