机器学习-白板推导系列笔记（二十九）-DBM

此文章主要是结合哔站shuhuai008大佬的白板推导视频：深度玻尔兹曼机_73min

全部笔记的汇总贴：机器学习-白板推导系列笔记

对应花书20.4

一、背景介绍

$$\Delta W=\partial (\underset{positivephase}{\underbrace{E_{P_{Data}[v{h}^T]}}}-\underset{positivephase}{\underbrace{E_{P_{model}}[v{h}^T]}})$$

$$\begin{gathered} P_{Data}=P_{Data}(h,v)=P_{Data}(v)P_{model}(h|v) \\ {P}_{model}=P_{model}(h,v)=P_{model}(v)P_{model}(h|v) \end{gathered}$$

DBN

pre-training(stacking RBM)
Fine-tuning(wake-sleep/BP)

DBM

pre-training(stacking RBM)
SGA(随机梯度上升 Stochastic Gradient Ascend)

二、预训练

（一）介绍

$$p(v)=\sum _{h^{(1)}}p(v,h^{(1)})=\sum _{h^{(1)}}p(h^{(1)};w^{(1)})p(v|h^{(1)};w^{(1)})$$
$$p(h^{(1)};w^{(2)})=\sum _{h^{(2)}}p(h^{(1)},h^{(2)};w^{(2)})$$

True $h^{(1)}$：
$$\underset{p(h^{(1)};w^{(1)},w^{(2)})}{\underbrace{p(h^{(1)})}}=\sum _{h^{(2)},v}\underset{由w^{(1)},w^{(2)}表示}{\underbrace{p(v,h^{(1)},h^{(2)})}}$$

Intuition:
用$p(h^{(1)};w^{(1)})$和$p(h^{(1)};w^{(2)})$
几何平均去近似$p(h^{(1)};w^{(1)},w^{(2)})$

（二）double counting problem

真正的：$p(h^{(1)};w^{(1)},w^{(2)})$
直觉：同时利用$p(h^{(1)};w^{(1)})$和$p(h^{(1)};w^{(2)})$去近似$p(h^{(1)};w^{(1)},w^{(2)})$

$$p(h^{(1)};w^{(1)})=\sum _{v}p(v,h^{(1)};w^{(1)})=\sum _{v}p(v)p(h^{(1)}|v;w^{(1)})\approx \underset{AggregatedPosterior}{\underbrace{\frac{1}{N}\sum _{v\in V}p(h^{(1)}|v;w^{(1)})}}$$
$$p(h^{(1)};w^{(2)})=\sum _{h^{(2)}}p(h^{(1)},h^{(2)};w^{(2)})=\sum _{h^{(2)}}p(h^{(2)})p(h^{(2)}|h^{(1)};w^{(2)})\approx \frac{1}{N}\sum _{h^{(2)}\in H}p(h^{(2)}|h^{(1)};w^{(2)})$$

$$V:样本集合v\in V$$
$$H:采样样本集合h^{(2)}\in H$$
$$h^{(2)}依赖于V$$

double counting ：所表达的分布过于sharp

（三）小结

由上图转化为下图，不能简单的看作系数除以2，我们单看中间的层数时，即不看最上面和最小面的层，不难发现，是可以用这种二倍系数来表示的，但是当看最下面的$h^{(1)}$和最上面的$h^{(3)}$层时，发现就不能用这种方式了，需要单独进行考虑。

我们将最下面一层往上保持2倍，往下还是直接用$w^{(1)}$表示，同样的，把最上面的$h^{(3)}$层往下用2倍表示，往上还是用$w^{(3)}$来表示，如下图所示。

下一章传送门：白板推导系列笔记（三十）-生成模型综述