生成系列论文:基于diffusion的3d图像的生成:Novel View Synthesis with Diffusion Models(一)

Novel View Synthesis with Diffusion Models
文章的原地址为:https://arxiv.org/abs/2210.04628

想要直接生成一个3d图像比较困难

作者的研究动机主要是,在直接生成一个完整的3d空间点云的时候较为困难,于是作者想要转而寻求其他的方法,作者最终采用的方法是不断地生成3d图像的各个角度的视图,来完成最终的生成。也就是本文的最终目的是生成一组3d图像的视图。

现有模型存在的问题

现有的模型都是直接从一个图片生成到另外一个图片,缺少一个整体的生成。我个人理解这里是这样子的,原始的图片到图片的生成都是生成两个有关系的图片,并不能很好的保证生成的是同一个物体的两个视图,因此很难更有针对性的应用在3d视图的生成。所以作者才要开发这个模型来解决这个问题。

作者采用的结构

作者这里原有的扩散模型没有太大的区别,主要是控制信息的不同。

作者怎么输入控制信息

1.第一次输入(A视图,A视图对应的姿态角)输出(B视图,B视图对应的姿态角)
2.第二次输入(A视图,A视图对应的姿态角,B视图,B视图对应的姿态角)输出(C视图,C视图对应的姿态角)这次有两图片控制的,作者并没有融合他们,而是每次随机选择一个让其对生成进行控制。
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_43210957/article/details/129025075