参考：Diffusion model—扩散模型 - CSDN博客；由浅入深了解Diffusion Model - 知乎；https://arxiv.org/abs/2308.09388
1. 概述
扩散模型是一种生成模型。可用在视觉生成任务上，如图像超分辨率、去模糊、JPEG伪影移除、阴影移除、去雾/霾/雨等等。
扩散模型分为前向（扩散）过程和逆过程。前向过程逐步为图像增加逐像素噪声，直到图像满足高斯噪声；逆过程通过去噪来重建图像。
扩散模型有很多种，常见的为去噪扩散概率模型（DDPM）。
2. 前向过程
前向过程是逐步添加噪声的过程，因此其每个时刻仅与前一时刻有关。故前向过程可参数化为马尔科夫链： q ( x t ∣ x t − 1 ) = N ( x t ; 1 − β t ⋅ x t − 1 , β t I ) q(x_t|x_{t-1})=\mathcal{N}(x_t;\sqrt{1-\beta_t}\cdot x_{t-1},\beta_tI) q(xt∣xt−1)=N(xt;1−βt⋅xt−1,βtI)其中 x 0 ∼ p data ( x ) x_0\sim p_\text{data}(x) x0∼pdata(x)为训练数据点， x 1 , ⋯ , x T x_1,\cdots,x_T x1,⋯,xT为逐步添加噪声后的数据， β t \beta_t βt为预定义参数。
利用重参数技巧，由第一式可得 x t = 1 − β t x t − 1 + β t z t x_t=\sqrt{1-\beta_t}x_{t-1}+\sqrt{\beta_t}z_t xt=1−βtxt−1+βtzt。递推，并将独立的、服从标准正态分布的随机变量 z 1 , z 2 , ⋯ , z t z_1,z_2,\cdots,z_t z1,z2,⋯,zt合并为服从标准正态分布的随机变量 ϵ \epsilon ϵ，可得 x t = α ^ t x 0 + 1 − α ^ t ϵ x_t=\sqrt{\hat{\alpha}_t}x_0+\sqrt{1-\hat{\alpha}_t}\epsilon xt=α^tx0+1−α^tϵ。从而可根据 x 0 x_0 x0计算 x t x_t xt的概率分布： q ( x t ∣ x 0 ) = N ( x t ; α ^ t ⋅ x 0 , ( 1 − α ^ t ) ⋅ I ) q(x_t|x_0)=\mathcal{N}(x_t;\sqrt{\hat{\alpha}_t}\cdot x_0,(1-\hat{\alpha}_t)\cdot I) q(xt∣x0)=N(xt;α^t⋅x0,(1−α^t)⋅I)其中 α t = 1 − β t , α ^ t = ∏ i = 1 t α i \alpha_t=1-\beta_t,\hat{\alpha}_t=\prod_{i=1}^t\alpha_i αt=1−βt,α^t=∏i=1tαi。当 T T T足够大时， α ^ t \hat{\alpha}_t α^t趋于0， x T x_T xT的分布就近似标准正态分布 π ( x T ) ∼ N ( 0 , I ) \pi(x_T)\sim\mathcal{N}(0,I) π(xT)∼N(0,I)。
3. 逆过程
逆过程通过近似后验分布来从高斯噪声中恢复数据分布： q ( x t − 1 ∣ x t , x 0 ) = N ( x t − 1 ; μ ~ t ( x t , x 0 ) , β ~ t I ) q(x_{t-1}|x_t,x_0)=\mathcal{N}(x_{t-1};\tilde{\mu}_t(x_t,x_0),\tilde{\beta}_tI) q(xt−1∣xt,x0)=N(xt−1;μ~t(xt,x0),β~tI)其中 μ ~ t ( x t , x 0 ) = α ^ t − 1 β t 1 − α ^ t x 0 + α ^ t ( 1 − α ^ t − 1 ) 1 − α ^ t x t = 1 α t ( x t − β t 1 − α ^ t ϵ ) , ϵ ∼ N ( 0 , I ) \tilde{\mu}_t(x_t,x_0)=\frac{\sqrt{\hat{\alpha}_{t-1}}\beta_t}{1-\hat{\alpha}_t}x_0+\frac{\sqrt{\hat{\alpha}_t}(1-\hat{\alpha}_{t-1})}{1-\hat{\alpha}_t}x_t=\frac{1}{\sqrt{\alpha_t}}(x_t-\frac{\beta_t}{\sqrt{1-\hat{\alpha}_t}}\epsilon),\epsilon\sim\mathcal{N}(0,I) μ~t(xt,x0)=1−α^tα^t−1βtx0+1−α^tα^t(1−α^t−1)xt=αt1(xt−1−α^tβtϵ),ϵ∼N(0,I) β ~ t = 1 − α ^ t − 1 1 − α ^ t β t \tilde{\beta}_t=\frac{1-\hat{\alpha}_{t-1}}{1-\hat{\alpha}_t}\beta_t β~t=1−α^t1−α^t−1βt 由于 β t \beta_t βt是预定义的，我们只需要使用去噪网络 ϵ θ ( x t , t ) \epsilon_\theta(x_t,t) ϵθ(xt,t)估计 ϵ \epsilon ϵ，从而得到均值 μ θ ( x t , t ) = μ ~ t ( x t , x 0 ) \mu_\theta(x_t,t)=\tilde{\mu}_t(x_t,x_0) μθ(xt,t)=μ~t(xt,x0)。
4. 训练
扩散模型的优化目标为 L simple = E t , x 0 , ϵ [ ∥ ϵ − ϵ θ ( α ^ t ⋅ x 0 + ϵ 1 − α ^ t , t ) ∥ 2 2 ] \mathcal{L}_\text{simple}=\mathbb{E}_{t,x_0,\epsilon}[\|\epsilon-\epsilon_\theta(\sqrt{\hat{\alpha}_t}\cdot x_0+\epsilon\sqrt{1-\hat{\alpha}_t},t)\|_2^2] Lsimple=Et,x0,ϵ[∥ϵ−ϵθ(α^t⋅x0+ϵ1−α^t,t)∥22] 上式期望是针对数据、噪声和时间求得的，因此实际计算损失时，需要对数据、噪声和时间进行采样。
扩散模型的训练过程如下：
- 从训练集中采样数据 x 0 x_0 x0；
- 从 { 1 , 2 , ⋯ , T } \{1,2,\cdots,T\} { 1,2,⋯,T}均匀随机采样 t t t；
- 从标准正态分布采样噪声 ϵ \epsilon ϵ；
- 计算 ∥ ϵ − ϵ θ ( α ^ t ⋅ x 0 + ϵ 1 − α ^ t , t ) ∥ 2 2 \|\epsilon-\epsilon_\theta(\sqrt{\hat{\alpha}_t}\cdot x_0+\epsilon\sqrt{1-\hat{\alpha}_t},t)\|_2^2 ∥ϵ−ϵθ(α^t⋅x0+ϵ1−α^t,t)∥22作为损失函数，进行反向传播。
5. 推断（采样）
扩散模型的推断即从高斯噪声 x T x_T xT，利用网络估计的噪声 ϵ θ ( x t , t ) \epsilon_\theta(x_t,t) ϵθ(xt,t)根据3中的公式计算上一时刻的均值（对于方差，DDPM认为 σ t 2 = β ~ t = 1 − α ^ t − 1 1 − α ^ t β t ≈ β t \sigma^2_t=\tilde{\beta}_t=\frac{1-\hat{\alpha}_{t-1}}{1-\hat{\alpha}_t}\beta_t\approx\beta_t σt2=β~t=1−α^t1−α^t−1βt≈βt），从而逆推原始数据 x 0 x_0 x0。
扩散模型的推断过程如下：
- 从标准正态分布中采样 x T x_T xT；
- 从 t = T t=T t=T开始，进行下面的过程（即扩散模型的逆向过程）直到 t = 1 t=1 t=1：
从标准正态分布中采样 z z z；
计算 x t − 1 = 1 α t ( x t − β t 1 − α ^ t ϵ θ ( x t , t ) ) + σ t z x_{t-1}=\frac{1}{\sqrt{\alpha_t}}(x_t-\frac{\beta_t}{\sqrt{1-\hat{\alpha}_t}}\epsilon_\theta(x_t,t))+\sigma_tz xt−1=αt1(xt−1−α^tβtϵθ(xt,t))+σtz；- t = 1 t=1 t=1时，计算 x 0 = 1 α 1 ( x 1 − β 1 1 − α ^ 1 ϵ θ ( x 1 , 1 ) ) x_0=\frac{1}{\sqrt{\alpha_1}}(x_1-\frac{\beta_1}{\sqrt{1-\hat{\alpha}_1}}\epsilon_\theta(x_1,1)) x0=α11(x1−1−α^1β1ϵθ(x1,1))
6. 条件扩散模型
由于上述模型推断过程无输入信号，因此生成的数据是无约束的，用户无法控制生成的结果。引入条件可以使生成的数据偏向用户期望的结果。
引入条件的方法有很多。例如，对于图像生成任务而言，可以引入分类器指导扩散模型，利用其梯度指导图像生成偏向特定语义，使模型能在给定标签的情况下生成相应的图像。也可以输入图像或文本指导图像生成。