全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴
《深度学习》PDF免费下载：《深度学习》
基于潜变量的最简单的概率模型。
x = W h + b + n o i s e x=Wh+b+noise x=Wh+b+noise
一、概率PCA和因子分析
潜变量的先验是一个方差为单位矩阵的高斯分布 h ∼ N ( h ; 0 , I ) h\sim N(h;0,I) h∼N(h;0,I)
所以 x x x也服从多维正态分布 x ∼ N ( x ; b , W W T + ψ ) x\sim N(x;b,WW^T+\psi) x∼N(x;b,WWT+ψ)
其中 x i x_i xi为给定 h h h下得一组观察值，对应得方差为 σ i 2 \sigma_i^2 σi2，上式中 ψ = d i a g ( σ 2 ) \psi=diag(\sigma^2) ψ=diag(σ2)。
为了将 PCA 引入到概率框架中，我们可以对因子分析模型作轻微修改，使条件方差 σ i 2 \sigma_i^2 σi2等于同一个值，此时， x x x的协方差简化为 W W T + σ 2 I WW^T+\sigma^2I WWT+σ2I
此时， x ∼ N ( x ; b , W W T + σ 2 I ) x\sim N(x;b,WW^T+\sigma^2I) x∼N(x;b,WWT+σ2I) x = W h + b + σ z x=Wh+b+\sigma z x=Wh+b+σz其中 z ∼ N ( z ; 0 , I ) z\sim N(z;0,I) z∼N(z;0,I)是高斯噪声。
二、独立成分分析
是一种建模线性因子的方法，旨在将观察到的信号分离成许多潜在信号，这些潜在信号通过缩放和叠加可以恢复成观察数据。这些信号是完全独立的，而不是仅仅彼此不相关。
- 在 x x x的生成中添加一些噪声，而不是使用确定性的解码器。
- 通过鼓励组内统计依赖关系、抑制组间依赖关系来学习特征组。
三、慢特征分析
是使用来自时间信号的信息学习不变特征的线性因子模型。
慢性原则（slowness principle），其基本思想是，与场景中起描述作用的单个量度相比，场景的重要特性通常变化得非常缓慢。慢特征分析是慢性原则中一个特别高效的应用。
- SFA算法
四、稀疏编码
是一个线性因子模型，已作为一种无监督特征学习和特征提取机制得到了广泛研究。
五、PCA的流形解释
线性因子模型，包括 PCA 和因子分析，可以理解为学习一个流形。
下一章传送门：花书读书笔记（十三）-自编码器