diffusion 并不是具体的模型,而是一种算法思想。这种算法主要应用生成数据生成上,类型于VAE、GAN,比他们效果好。主要原理是通过对数据加噪和去噪实现数据生成,由于加噪过程是可以计算的,去噪过程很难计算,因此diffusion model就是设计一个去噪模型来训练噪声,模型的选择设计可任意。由于去噪是需要多步完成,这也导致diffusion model耗时比较长,很难达到实时效果。
Top1 必看:
https://segmentfault.com/a/1190000043744225#item-5
Top2综述:
https://zhuanlan.zhihu.com/p/562389931
这篇综述很全,介绍了diffusion model 的原理和应用
不需要看太多,这两篇足以,Top1里面讲解非常详细,包括理论推导,到代码实现非常详细;Top2综述里面主要讲其当前应用,可谓广泛。如今尤其是diffusion + transformer 结构无比吸引眼球,但是不能realtime真的非常可惜。