文章目录
0. Write behind
本篇文章也是关于VAE的深度无监督聚类算法VaDE，主要从它的模型、Loss、优化方法去讲、最后会简单提及实验部分，并且与之前的GMVAE作比较。
1. Abstract
- 提出VaDE模型，它是深度无监督聚类生成模型，结合了VAE和GMM。
- 指出数据的生成过程：
1.从GMM分布中选择一个簇
2.从这个簇中产生一个隐变量z
3.解码该隐变量z生成观测数据 - 提出用SVGB优化方法
- 实验效果很好
1. Introduction(介绍)
- 这一部分一般是概要性的引出作者提出的模型，我们直接上模型。
- 下面这幅图描述了VaDE的数据生成过程，在前面介绍过了，这里是图形显示。
- 在这一部分，文中还说到DEC模型的缺陷：DEC模型没有数据生成的过程，所以不能产生图片，因为它使用的是Autoencoder
2. Related work
- 这一部分主要是写前人的一些研究工作并说出它们的不足，最后再引出自己的模型，并说说自己模型的优点，不再介绍。
3. Variational Deep Embedding(VaDE)
这一部分作者详细阐述了VaDE模型，包括生成模型和推理模型
3.1 Generative Model
- 生成模型是公式(3)：p(x,z,c) = p(x|z)p(z|c)p(c )，代表上述的生成过程
3.2 Inference Model
- 推理模型为公式(8):q(z,c|x)=q(z|x)q(c|x),用来优化我们的变分下界的
- 公式(9)给出了变分下届，公式(12)给出了近似解(编程时用)，其中的数学推导很复杂，这篇paper再最后给出了详细的证明，有兴趣可以自己下载下来看看，这里不再赘述。
- 公式(16)给出了一个优化trick，也是详细证明的。公式(16)表示的是GMM中的响应度，GMM就是靠这个来聚类的。
3.3 Understanding the ELBO of VaDE
- 这一节主要探讨VaDE的变分下界，具体的是KL散度项对VaDE的影响，同时用图例的方法给出了在准确率上，VaDE的优越性。
4. Experiments
- 关于实验这块，不想讲太多，主要了了几个细节
4.1 Net Structure
推理网络：D-500-500-2000-10(FC)
生成网络：10-2000-500-500-D(FC)
优化器：ADAM
BATCH_SIZE:100
GMM的参数是经过预先初始化的，然后放入到网络中训练，根据GMM模型可知，网络收敛不到全局最优，只能收敛再全局最优甚至更糟糕
4.2 Pre-training(figure out over-regularisation problem)
- 文中指出公式17中的重构项会在训练初期变得非常的“weak”，以至于会导致模型陷入局部解或者鞍点。作者使用了AE做了预训练，和DEC很像。从而避免的这个问题。
4.3 Sample from different components of GMM
5. 与GMVAE的区别
GMVAE
1.推理模型和生成模型不一样
2.计算准确率的方式不一样
3.处理over-regularisation问题的方式不一样