受限玻尔兹曼机（RBM）
1、玻尔兹曼分布
玻尔兹曼分布是统计物理中的一种概率分布，描述系统处于某种状态的概率
2、网络结构
可见单元-输入数据
隐藏单元-计算得到的结果
二部图-图的节点集合被划分成两个不相交的子集，这两个子集内的节点之间没有边连接，子集之间的节点之间有边连接
可见单元和隐藏单元的值服从玻尔兹曼分布
能量定义为
归一化因子为
3、实际例子
4、计算隐藏单元的条件概率
实际使用时，给定可见变量的值，根据模型参数可以得到隐藏变量的条件概率密度函数
根据条件概率的计算公式
将p(v,h)的定义带入上式
5、计算单个隐藏单元的值
隐含节点之间没有连接，因此这些随机变量是相互独立的
已知可见变量时某一隐含变量的值为1的概率
6、用于特征提取
可见单元作为输入数据，隐藏单元作为特征向量
计算隐藏层神经元的激励能量
计算该隐藏单元的条件概率值，即状态为1的概率
以Pi的概率将隐藏层神经元的状态值设置为1，以1-Pi的概率值将其设置为0
7、训练算法
Contrastive Divergence
获取一个训练样本，根据该样本设置网络的可见单元
对于隐藏单元，计算它的激励能量
计算概率值
以Pi的概率将隐藏层神经元的状态值设置为1，以1-Pi的概率值将其设置为0
为每一条边计算如下值
用类似的方法重构每个可见单元，计算它的激励能量，并更新它的状态
再次更新隐藏单元状态，并对每条边计算 
更新每条边的权重
8、深度波尔茨曼机
Deep Boltzmann Machine
可以将多个受限玻尔兹曼机层叠加起来使用
通过多层的受限玻尔兹曼机，可以完成数据在不同层次上的特征提取和抽象
训练时，逐层训练