第五周学习笔记

本周的主要学习工作

1.CS229

[课程地址]

第十三讲，高斯混合模型

主要内容

EM算法
高斯混合模型（Gaussian mixed model）
文档聚类，混合贝叶斯模型（mixtures of naive Bayes）
因子分析（Factor analysis）

值得注意的地方

1.EM算法的收敛

EM算法通过最大化似然函数的下界（使用Jesen不等式得到），来近似最大化似然函数，其优化过程相当与对于其下界函数的坐标上升。

2.高斯混合模型的优化

Q-step中的优化是一个条件极值问题，约束是 $\Sigma_j\phi_j=1$ 且 $\phi_j\geq0$ ，但是经验表示，即便忽略后一个条件，我们也可以得到满足的解

3.为什么需要因子分析

当 $n\approx m$ 或 $n\gg m$ 时，假如使用高斯模型来拟合 $P(x)$ ，会得到奇异的协方差矩阵 $\Sigma$ ，使得 $\Sigma^{-1}$ 无法计算，虽然通过对协方差矩阵进行对角化或数量化约束可以使得最大似然法得以进行，但是这样忽略了数据之间的相关性，因此，我们选择因子分析，既能保留数据的相关性，又不必计算出协防差矩阵。

第十四讲，主成分分析

主要内容

因子分析
主成分分析（Pricipal Components Analysisi）

值得注意的地方

1.PCA的Intuition

找到数据变异（方差）最大的投影方向，或找到数据到某条直线的距离平方和最小的直线

2.PCA的应用

可视化，数据压缩，降维

第十五讲，奇异值分解

主要内容

奇异值分解（SVD）
独立成分分析算法（independent component analysis）ICA

值得注意的地方

1.SVD能增加PCA实现的效率

假设设计矩阵 $X\in R^{m\times 50000}$ ，那么 $\Sigma \in R^{50000\times 50000}$ ，计算特征值就十分复杂，而直接用SVD分解 $X$ 相对就简单，因为 $X^TX=\Sigma$ ，那么 $V$ 中就包含了 $\Sigma$ 的特征向量。

第十六讲，马尔可夫决策过程

主要内容

强化学习（Reinforcement learning）
马尔可夫决策过程（Markov Decision Process）
贝尔曼方程（Bellman’s equations）
值迭代算法（value iteration）
策略迭代（Policy iteration）

值得注意的地方

1.强化学习不同之处

强化学习的目标不像监督学习那么明确，强化学习往往是一个连续的决策过程，而监督学习多数是一次决策过程。

2.值迭代和策略迭代

策略迭代的计算代价主要是求解线性方程，当状态数较大的时候倾向使用值迭代。

下周计划

完成CS229的学习