论文笔记：DRAW: A Recurrent Neural Network For Image Generation

DRAW: A Recurrent Neural Network For Image Generation

2019-01-14 19:42:50

 

Paper：http://proceedings.mlr.press/v37/gregor15.pdf 

本文将 VAE 和 LSTM 结合到一起，来完成一个很酷的事情：手写数字图像的生成。与常规的图像生成任务不同，该方法不是一步生成所有图像，而是逐渐一点一点的生成。

但是这种任务的难点在于：learning where to look, 但是这个可以用基于策略梯度的强化学习算法（Policy gradient based reinforcement learning technique）进行解决。DRAW 中的 attention model 是完全可微分的，所以，可以用 BP 算法进行求解。这样就可以进行选择性的读和写的操作。

The DRAW Network：

与常规的 VAE 模型相比，本文的模型有三个关键的区别：

1. Encoder 和 decoder 都是 recurrent networks，

2. the decoder's outputs are successively added to the distribution that will ultimately generate the data；

3. 一个动态更新的注意力机制，被用于限制 输入的区域（the input regions observed by the encoder） 以及 输出的区域（the output region modified by the decoder）；

 

简单来说，该网络决定每一个时刻的 “where to read”，“where to write” 以及 “what to write”。

 

1. Network Architecture：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

==