RBM受限玻尔兹曼机

受限玻尔兹曼机(restricted boltzmann machines,RBM)由Geoff Hinton发明,是一种用于降维、分类、回归、协同过滤、特征学习和主题建模的算法。
注释:
1.在机器学习和统计学领域,降维是指在某些限定条件下,降低随机变量个数,得到一组“不相关”主变量的过程。 降维可进一步细分为特征选择和特征提取两大方法。特征选择假定数据中包含大量冗余或无关变量(或称特征、属性、指标等),旨在从原有变量中找出主要变量。其代表方法为LASSO。特征提取是将高维数据转化为低维数据的过程。在此过程中可能舍弃原有数据、创造新的变量,其代表方法为主成分分析。
2.李航《统计学习方法》的解释为:输入变量与输出变量均为连续变量的预测问题是回归问题,输出变量为有限个离散变量的预测问题为分类问题。分类问题和回归问题都要根据训练样本找到一个实值函数g(x)。回归问题是: 给定一个新的模式, 根据训练集推断它所对应的输出y(实数)是多少, 也就是使用y=g(x)来推断任一输入x所对应的输出值。分类问题是: 给定一个新的模式, 根据训练集推断它所对应的类别 (如: +1, -1), 也就是使用**y=sign(g(x))来推断任一输入x所对应的类别。综上, 回归问题和分类问题的本质一样, 不同仅在于他们的输出的取值范围不同。分类问题中, 输出只允许取两个值; 而在回归问题中, 输出可取任意实数. 分类一般针对离散型结果而言的, 回归是针对连续型结果的. 本质上是一样的.回归问题举例:已知房间面积和地段等信息以及其对应的房价,根据这些数据推理出新的房间信息所对应的房价。

==================================================================

受限玻尔兹曼机由Geoff Hinton发明,有两个层的浅层神经网络,时组成深度置信网络的基础部件。第一层是可见层,第二层是隐藏层。一个层中的节点与另一层中的所有节点分别连接,但与同一层中的其他节点并不相连,也就是说层的内部不存在通信,这就是受限玻尔兹曼机被称为受限的原因。
RBM是一个而基于能量的模型,使用能量函数引入一系列相关的概率分布函数。RBM用Kullback Leibler散度来衡量预测的概率分布与输入值的基准分布之间的距离。基于能量的模型(EBM),如果一个变量组合被认为是合理的,它同时也具有较小的能量。
RBM的目标是最大化似然函数(输入数据的边缘分布)
这里写图片描述
最大化常用的数值方法是梯度上升

猜你喜欢

转载自blog.csdn.net/qq_38250162/article/details/80670007