EM算法笔记

其他 2018-08-19 23:05:22 阅读次数: 0

1、目标函数

$L(\theta ) =\prod_{i=1}^{n} p(x_{i}|\theta ) = \prod_{i=1}^{n} \sum_{j=1}^{m} p(x_{i};z_{j}|\theta)$

$l(\theta ) = log L(\theta)$

$l(\theta ) = \sum_{i=1}^{n} log\sum_{j=1}^{m} p(x_{i};z_{j}|\theta) \\= \sum_{i=1}^{n} log\sum_{j=1}^{m}Q(z_j) \frac{p(x_{i};z_{j}|\theta)}{Q(z_j)} \\\geq \sum_{i=1}^{n} \sum_{j=1}^{m}Q(z_j)log \frac{p(x_{i};z_{j}|\theta)}{Q(z_j)}$

$\theta = arg(max(l(\theta ) ))$

2、取等号

$\frac{p(x_{i};z_{j}|\theta)}{Q(z_j)} = C ; \sum_{j=1}^{m}Q(z_j)=1 \\ \Rightarrow p(x_{i};z_{j}|\theta) = C*Q(z_j) \\ \Rightarrow \sum_{j=1}^{m}p(x_{i};z_{j}|\theta) = \sum_{j=1}^{m}(C*Q(z_j))=C$

$Q(z_j) = \frac{p(x_{i};z_{j}|\theta)}{\sum_{j=1}^{m}p(x_{i};z_{j}|\theta)} = \frac{p(x_{i};z_{j}|\theta)}{p(x_{i}|\theta)} =p(z_{j}|x_{i},\theta)$

3、迭代

$E-step:Q(z_j) =p(z_{j}|x_{i},\theta)$

$M-step:\theta = arg(max(l(\theta ) ))$

4、用途

模型参数估计

猜你喜欢

转载自blog.csdn.net/ziyue246/article/details/81711966

EM算法笔记

EM算法推导笔记

机器学习笔记_$EM$算法

EM算法学习笔记

机器学习-EM算法笔记

（EM算法）The EM Algorithm

机器学习-EM算法-GMM模型笔记

机器学习-EM算法-pLSA模型笔记

【web搜索】学习笔记-EM算法

EM算法

EM 算法

统计学习方法笔记（十三）EM算法（一）

统计学习方法笔记（十三）EM算法（二）

周志华《Machine Learning》学习笔记 9 ——EM算法

学习笔记【机器学习重点与实战】——12 EM算法

周志华《Machine Learning》学习笔记（9）--EM算法

读吴恩达算-EM算法笔记

统计学习方法笔记9—EM算法1

统计学习方法笔记9—EM算法3

统计学习方法笔记9—EM算法2

EM算法_斯坦福CS229_学习笔记

机器学习笔记11-EM算法及其推广

机器学习-白板推导-系列（十）笔记：EM算法

04 EM算法 - EM算法收敛证明

python机器学习笔记：EM算法 Python机器学习笔记：K-Means算法，DBSCAN算法

EM最大期望算法

初识EM算法

EM算法的点滴

EM算法推导

EM算法1

今日推荐

Linus “吃狗粮”最积极！

开源日报 | Winamp播放器即将开源；生成式AI之战升级第二轮；Linus“吃狗粮”最积极；AI进入泡沫前期；吴泳铭为阿里云带来了什么？

NetBSD 禁止提交由 AI 生成的代码

Apache Doris 2.0.10 版本正式发布！

开源日报 | 大模型开战；大模型独角兽被曝卖身；周鸿祎建议谷歌开源所有产品；最大开源AI社区提供1000万美元共享GPU

开源日报 | Chrome内置Gemini的意义不在于Gemini；中国AI追随之路的五大误区；ECharts创始人“下海”养鱼；谷歌I/O开发者大会什么都有，只是没有惊喜

微软回应中国区AI团队“打包赴美”传闻

周排行

LogN级别的区间查询算法(线段树), 你学会了吗

数论概论(英文版.第4版)

idea 更新后和新的直接安装前，都需要配置 idea64.exe.vmoptions 后再使用

CANOpen系列教程04_CAN总线波特率、位时序、帧类型及格式说明

Java序列化基础

java排序算法整理

异常：org.apache.ibatis.reflection.ReflectionException

（算法练习）——二路归并排序

go 闭包函数

好程序员web前端技术分享媒体查询

每日归档

更多

2024-05-21(8)

2024-05-20(36)

2024-05-19(0)

2024-05-18(4)

2024-05-17(34)

2024-05-16(6)

2024-05-15(24)

2024-05-14(0)

2024-05-13(18)

2024-05-12(0)