深度信念网络在处理维数比较多的数据时，可以起到压缩数据维度的作用。其经典结构为：
DBN由多个RBM堆叠而成，训练过程由预训练和微调构成
深度信念网络训练步骤：
（1）预训练：分别单独无监督的训练每一层RBM网络，确保特征向量映射到不同特征空间，都尽可能的保留特征信息；它通过一个非监督贪婪逐层方法预训练获得权重（即不要类标，不断拟合输入，依次逐层）。在这个过程中，数据输入到可见层，生成一个向量V，在通过权值w传给隐藏层，得到h，由于隐藏层之间是无连接的，所以可以并行得到隐藏层所有节点值。通过隐层激活单元和可视层输入之间的相关性差别（通过能量函数来度量网络的稳定性，优化函数是根据求能量函数球指数后，归一化，然后最大似然得到）就作为权值更新的主要依据。具体公式？
从单层的RBM训练说起，可见层是用来接受输入信号，隐藏层用来提取特征，RBM是通过无监督学习自动找到研究问题的最佳特征。
（2）在 DBN 的最后一层设置 BP 网络,接收 RBM 的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器.而且每一层 RBM 网络只能确保自身层内的 权值对该层特征向量映射达到最优,并不是对整个 DBN 的特征向量映射达到最优,所以反向传播网络还将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络.RBM 网络训练模型的过程可以看作对一个深层 BP 网络权值参数的初始化,使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点.
转载：
https://blog.csdn.net/u013714645/article/details/74892888
https://blog.csdn.net/NIeson2012/article/details/52184189