我想使用“图像转换多样化图像生成”的思想去把“分子优化”部分做出来,我目前的想法是:
- 一种图像应该对应一种或多种优化图像(监督学习)
- 使用目标域作为监督对应不合适,因为:1、图像的颜色太少2、源域和目标域图像长得差不多,无法学到对应的转换关系
- 所以应该使用一对一或者一对多这种模式进行训练,但是又怎么从这种模型中生成多种优化图像呢?
这时应该是“pix2pix”或者“cycleGAN”类似这种图像一一对应的训练才可以,而不是从一个domain到另一个domain去转换,主要的问题就是怎么才能从一个latent code中生成多种图像呢?
一些论文链接,下面我需要再去研究一下:
COCO-Stuff Labels-to-Photos Benchmark (Image-to-Image Translation) | Papers With Code