DDPM 拡散モデルの公式推論 ----損失関数

DDPM 拡散モデルの公式推論 ----損失関数

2.3 損失関数の導出

最尤推定の考え方を使用して損失関数を構築します。
$$L=-ログ\_p_{}\left({\times }_{}\right)$$
は逆拡散ネットワークの$\theta \; は$データをx 0 にします x_0 はサンプリングを開始したばかりです${バツ}_{}$最も起こりやすい。

次に、ELBO および VAE コンテンツを使用して、上記の式を変換する必要があります。

2.3.1 ELBA

既知の最尤推定値$p_{}\left({\times }_{}\right)$と観察${バツ}_{}$、および観測値の拡散によって得られる x 1 ${バツ}_{1:}$、周辺確率分布の公式による:
$$p_{}\left({\times }_{}\right)=\int p_{}\left({\times }_{0:}\right)dx{\_}_{1:}$$
したがって
$$\begin{array}{rl}ログ\_p_{}\left({\times }_{}\right)& =ログ\_\int p_{}\left({\times }_{0:}\right)dx{\_}_{1:}\\ & =ログ\_\int \frac{p_{}\left({\times }_{0:}\right)q_{}({\times }_{1:}|{バツ}_{}}{q_{}({\times }_{1:}|{バツ}_{})}dx{\_}_{1:}\\ & =ログ\_E_{q_{}({\times }_{1:}|x_{}}[\frac{p_{}({\times }_{0:}}{q_{}({\times }_{1:}|{バツ}_{})}】\\ & \ge E_{q_{}({\times }_{1:}|x_{}}[ログ\_\frac{p_{}({\times }_{0:}}{q_{}({\times }_{1:}|{バツ}_{})}\end{array}$$
最後のステップは、ピアノの音の不等式$(ジェンセン\_\_\_{\_}^{は}不平等です）。\_\_\_\_\_\_\_\_$_
これはあまり直感的ではないようですが、もっと簡単な別の導出方法があります。
$$\begin{array}{rl}ログ\_p\left(x\right)& =ログ\_p\left(x\right)\int q_{}(z|x)dz\\ & =\int q_{}(z|x\left)\right(ログ\_p(x))dz\\ & =E_{q_{}(z|x}[ログ\_p(x)]\\ & =E_{q_{}(z|x}[ログ\_\frac{p(x,z}{p(z|\times ）}】\\ & =E_{q_{}(z|x}[ログ\_\frac{p(x,z)q_{}(z|\times }{p(z|x\left)q_{}\right(z|\times ）}】\\ & =E_{q_{}(z|x}[ログ\_\frac{p(x,z}{q_{}(z|\times ）}】+E_{q_{}(z|x}[ログ\_\frac{q_{}(z|\times }{p(z|\times ）}】\\ & =E_{q_{}(z|x}[ログ\_\frac{p(x,z}{q_{}(z|\times ）}】+D_{}(q_{}(z|x)\Vert p(z|\times ））\\ & \ge E_{q_{}(z|x}[ログ\_\frac{p(x,z}{q_{}(z|\times ）}】\\ & =E_{q_{}({\times }_{1:}|x_{}}[ログ\_\frac{p_{}({\times }_{0:}}{q_{}({\times }_{1:}|{バツ}_{})}\end{array}$$
ここに$z\; は$x 1を表します${バツ}_{1:}$、$x\; は$x 0 x_0を表します${バツ}_{}$。途中でベイズ公式が使われます。

ここで 2 つの方法によって得られる結論は次のとおりです。
$$ログ\_p_{}\left({\times }_{}\right)\ge E_{q_{}({\times }_{1:}|x_{}}[ログ\_\frac{p_{}({\times }_{0:}}{q_{}({\times }_{1:}|{バツ}_{})}】$$

その中$E_{q_{}({\times }_{1:}|x_{}}\left[ログ\_\frac{p_{}({\times }_{0:}}{q_{}({\times }_{1:}|x_{})}\right]$就是ELBO$\left(EvidenceLowerBound\right)、つまり$変$分$$下限$$。$$\_$$\_$$\_$$\_$$\_$$\_$

損失関数を作成したいのですが$-ログ\_p_{}\left({\times }_{}\right)$最小，就是另ELBO$E_{q_{}({\times }_{1:}|x_{}}\left[ログ\_\frac{p_{}({\times }_{0:}}{q_{}({\times }_{1:}|x_{})}\right]$マックス。

我们令$L_{VLB\_}=-E{\_}_{q_{}({\times }_{1:}|x_{}}[ログ\_\frac{p_{}({\times }_{0:}}{q_{}({\times }_{1:}|x_{})}】=E_{q_{}({\times }_{1:}|x_{}}[ログ\_\frac{q_{}({\times }_{1:}|x_{}}{p_{}\left({\times }_{0:}\right)}]\; を$計算し、損失関数を解くように変換します。さらに細分化します。
$$\begin{array}{rl}{L}_{}& =E_{q(x_{0:}}[ログ\_\frac{q({\times }_{1:}|{バツ}_{}}{p_{}\left({\times }_{0:}\right)}】\\ & =E_{}[ログ\_\frac{{\prod }_{t=1}^{}q({\times }_{}|{バツ}_{t-}}{p_{}\left({\times }_{}\right){\prod }_{t=1}^{}{p}_{}\left({\times }_{t-}|{バツ}_{}\right)}】\\ & =E_{}[-ログ\_p_{}\left({\times }_{}\right)+\sum _{t=1}ログ\_\frac{q({\times }_{}|{バツ}_{t-}}{p_{}\left({\times }_{t-}|{バツ}_{}\right)}】\\ & =E_{}[-ログ\_p_{}\left({\times }_{}\right)+\sum _{t=2}ログ\_\frac{q({\times }_{}|{バツ}_{t-}}{p_{}\left({\times }_{t-}|{バツ}_{}\right)}+ログ\_\frac{q({\times }_{}|{バツ}_{}}{p_{}\left({\times }_{}|{バツ}_{}\right)}】\\ & =E_{}[-ログ\_p_{}\left({\times }_{}\right)+\sum _{t=2}ログ\_\left(\frac{q({\times }_{t-}|{バツ}_{}、{バツ}_{}}{p_{}\left({\times }_{t-}|{バツ}_{}\right)}\cdot \frac{q({\times }_{}|{バツ}_{}}{q\left({\times }_{t-}|{バツ}_{}\right)}\right)+ログ\_\frac{q({\times }_{}|{バツ}_{}}{p_{}\left({\times }_{}|{バツ}_{}\right)}】\\ & =E_{}[-ログ\_p_{}\left({\times }_{}\right)+\sum _{t=2}ログ\_\frac{q({\times }_{t-}|{バツ}_{}、{バツ}_{}}{p_{}\left({\times }_{t-}|{バツ}_{}\right)}+\sum _{t=2}ログ\_\frac{q({\times }_{}|{バツ}_{}}{q\left({\times }_{t-}|{バツ}_{}\right)}+ログ\_\frac{q({\times }_{}|{バツ}_{}}{p_{}\left({\times }_{}|{バツ}_{}\right)}】\\ & =E_{}[-ログ\_p_{}\left({\times }_{}\right)+\sum _{t=2}ログ\_\frac{q({\times }_{t-}|{バツ}_{}、{バツ}_{}}{p_{}\left({\times }_{t-}|{バツ}_{}\right)}+ログ\_\frac{q({\times }_{}|{バツ}_{}}{q\left({\times }_{}|{バツ}_{}\right)}+ログ\_\frac{q({\times }_{}|{バツ}_{}}{p_{}\left({\times }_{}|{バツ}_{}\right)}】\\ & =E_{}\left[ログ\_\frac{q({\times }_{}|{バツ}_{}}{p_{}\left({\times }_{}\right)}+\sum _{t=2}ログ\_\frac{q({\times }_{t-}|{バツ}_{}、{バツ}_{}}{p_{}\left({\times }_{t-}|{バツ}_{}\right)}-ログ\_p_{}\left({\times }_{}|{バツ}_{}\right)\right]\\ & =E_{}[\underset{L_{}}{\underbrace{D_{}(q\left({\times }_{}|{バツ}_{}\right)\Vert p{\_}_{}\left({\times }_{}\right)}}+\sum _{t=2}\underset{L_{t-}}{\underbrace{D_{}(q\left({\times }_{t-}|{バツ}_{}、{バツ}_{}\right)\Vert p{\_}_{}\left({\times }_{t-}|{バツ}_{}\right)}}-\underset{L_{}}{\underbrace{ログ\_p_{}({\times }_{}|{バツ}_{}}}\end{array}$$

ここで、最初の添字は$q_{}({\times }_{1:}|{バツ}_{})$は q ( x 0 : T ) q\left(\mathbf{x}_{0: T}\right)に変更されます。$q\left({\times }_{0:}\right)$、私は${バツ}_{}$は既知であるため、2 つの式は同等です。

真ん中にもう 1 つわかりにくい点があります。$q\left({\times }_{1:}|{バツ}_{}\right)$は順伝播の分布$q\left({\times }_{t-}|{バツ}_{}\right)$逆拡散過程の真の分布を表します。ここで、$q$には順方向または逆方向の意味はなく、確率と分布を表すだけであり、確率論では$P$。$p_{}\left({\times }_{t-}|{バツ}_{}\right)$は、解決したい逆拡散分布を表します。

次に、 LT 、 L t − 1 、 L 0 L_{T}、 L_{t-1}、 L_{0} があります。$L_{}、L_{t-}、L_{}$これら 3 つの状況を分類して説明します。

2.3.2 $L_{}$

$q\left({\times }_{1:}|{バツ}_{}\right)$は順拡散プロセスを表し、学習可能なパラメータはありません;$p_{}({\times }_{}$x T x_Tで$)$${バツ}_{}$は、標準ガウス分布p θ p_{\theta}に従うノイズです。$p_{}$は逆拡散プロセスです。逆拡散プロセスの場合、${バツ}_{}$は既知であるため、この用語$L_{}$定数として使用できます。

2.3.3 $L_{t-}$

そして$L_{t-}$実数逆拡散分布 q ( xt − 1 ∣ xt , x 0 ) q\left(\mathbf{x}_{t-1} \mid \mathbf{x}_{t}, \mathbf であることがわかります。$q\left({\times }_{t-}|{バツ}_{}、{バツ}_{}\right)$と、必要な逆拡散分布$p_{}\left({\times }_{t-}|{バツ}_{}\right)$ KL ダイバージェンス。

1. 関数$q\left({\times }_{t-}|{バツ}_{}、{バツ}_{}\right)$得られた平均と分散:
   $${メートル}_{}=\frac{}{\sqrt{{ある}_{}}}\left({\times }_{}-\frac{1-{ある}_{}}{\sqrt{1-{\overline{ある}}_{}}}{e}_{}\right)、b_{}=\frac{1-{\overline{ある}}_{t-}}{1-{\overline{ある}}_{}}\cdot b_{}$$
2. 2 番目の分布$p_{}\left({\times }_{t-}|{バツ}_{}\right)$は当てはめたいターゲット分布であり、ガウス分布でもあり、平均はネットワークによって推定され、分散は$b_{}$形式:
   $$p_{}\left({\times }_{t-}|{バツ}_{}\right)=N({\times }_{t-};{メートル}_{}\left({\times }_{}、t\right)、S_{}({\times }_{}、た））$$

したがって、これら 2 つの分布を近づけるには、分散を無視することができ、2 つの分布の平均間の距離を最小化するだけで済みます。第 2 ノルムを使用して次のように表します: L t = E q [ ∥ μ ~
$$\begin{array}{rl}{L}_{}& =E_{}\left[{\Vert {メートル}_{}\left({\times }_{}、{バツ}_{}\right)-{メートル}_{}\left({\times }_{}、t\right)\Vert }^2\right]\\ & =E_{{バツ}_{}、}\left[{\Vert \frac{}{\sqrt{{ある}_{}}}({\times }_{}({\times }_{}、)\_-\frac{b_{}}{\sqrt{1-{\overline{ある}}_{}}})\_-{メートル}_{}\left({\times }_{}({\times }_{}、)\_、t\right)\Vert }^2\right]ϵ〜N(0,1\end{array}$$
この式では、 μ θ ( xt ( x 0 , ϵ ) , t ) \boldsymbol{\mu}_{\theta}\left(\mathbf{x}_{t}\left を使用する必要があることがわかります。${メートル}_{}\left({\times }_{}({\times }_{}、)\_、t\right)$内 1$\frac{}{\sqrt{{ある}_{}}}\left({\times }_{}({\times }_{}、)\_-\frac{b_{}}{\sqrt{1-{\overline{ある}}_{}}}ϵ\right)$、定義:
$${メートル}_{}\left({\times }_{}、t\right)=\frac{}{\sqrt{{ある}_{}}}\left({\times }_{}-\frac{b_{}}{\sqrt{1-{\overline{ある}}_{}}}{ϵ}_{}\left({\times }_{}、t\right)\right)$$
は、ニューラル ネットワーク${ϵ}_{}\left({\times }_{}、t\right)$を使用してノイズ$ϵ$。次に、予測されたノイズを定義された式に取り込み、予測平均を計算します。

したがって、損失関数は次のようになります。
$$\begin{array}{rl}{L}_{}& =E_{{バツ}_{}、}\left[{\Vert \frac{}{\sqrt{{ある}_{}}}({\times }_{}-\frac{b_{}}{\sqrt{1-{\overline{ある}}_{}}})\_-\frac{}{\sqrt{{ある}_{}}}({\times }_{}-\frac{b_{}}{\sqrt{1-{\overline{ある}}_{}}}{ϵ}_{}({\times }_{}、た））\Vert }^2\right]ϵ〜N(0,1)\\ & =E_{{バツ}_{}、}\left[{\Vert ϵ-{ϵ}_{}\left({\times }_{}、t\right)\Vert }^2\right]ϵ〜N(0,1)\text{ 定数項目の係数は捨てて、 訓練したほうが良いと著者は言う }\\ & =E_{{バツ}_{}、}\left[{\Vert ϵ-{ϵ}_{}\left(\sqrt{{\overline{ある}}_{}}{バツ}_{}+\sqrt{1-{\overline{ある}}_{}}ϵ、t\right)\Vert }^2\right]、ϵ〜N(0,1\end{array}$$
ネットワークへの入力は、ノイズと線形結合された画像${バツ}_{}$、それに組み合わされたノイズの真の値は$ϵ$、自由関数${ϵ}_{}\left(\sqrt{{\overline{ある}}_{}}{バツ}_{}+\sqrt{1-{\overline{ある}}_{}}ϵ、t\right)$をこのノイズに適合させます。

2.3.4 $L_{}$

最終的な$L_{}=-ログ\_p_{}\left({\times }_{}|{バツ}_{}\right)$は最後のステップのノイズが含まれた画像${バツ}_{}$ノイズ除去画像の生成${バツ}_{}$の最尤推定。より良い画像を生成するには、画像上の各ピクセル値が離散対数尤度を満たすように、各ピクセルに対して最尤推定を使用する必要があります。

これを達成するために、逆拡散プロセスの最後の部分が${バツ}_{}$x 0 x_0へ${バツ}_{}$変換は独立した離散計算に設定されます。つまり、特定の${バツ}_{}$画像を取得${バツ}_{}$ピクセルが互いに独立していると仮定して、対数尤度を満たします。
$$p_{}\left({\times }_{}|{バツ}_{}\right)=\prod _{i=1}{p}_{}\left({\times }_0^{}|{バツ}_1^{}\right)$$
$Dは$xxです$x$の次元、上付き文字$iは$画像内の座標位置を表します。ここでの目標は、特定のピクセルの値がどの程度可能性があるかを判断すること、つまり、対応するタイム ステップ$t=1$ノイズの少ない画像$x$内の対応するピクセル値の分布
$$N\left(x;{メートル}_{私}^{}\left({\times }_{}、1\right)、p_1^{}\right)$$
ここで、$t=1$のピクセル分布は、多変量ガウス分布から得られます。その対角共分散行列を使用すると、分布を一変量ガウスの積に分割できます: N (
$$N(x;{メートル}_{}\left({\times }_{}、1\right)、p_1^{}私）=\prod _{i=1}N\left(x;{メートル}_{私}^{}\left({\times }_{}、1\right)、p_1^{}\right)$$
ここで、画像が値 0 ～ 255 の範囲 [-1,1] で正規化されていると仮定します。t=0 における各ピクセルのピクセル値を考えると、遷移確率分布$p_{}({\times }_{}|{バツ}_{}$したがって、$p\; \theta \; (\; x\; 0\; |\; x\; 1\; )\; =\; \prod \; i\; =\; 1\; D\; \int \; \delta \; -\; (\; x\; 0$
$$\begin{array}{rl}{p}_{}\left({\times }_{}|{バツ}_{}\right)& =\prod _{i=1}{\int }_{d_{}\left({\times }_0^{}\right)}^{d_{}({\times }_0^{}}N\left(x;{メートル}_{私}^{}\left({\times }_{}、1\right)、p_1^{}\right)dx\_\\ d_{}(x& =\left\{\begin{array}{ll}\infty & \times \text{ の場合 }=1\\ バツ+\frac{}{255}& \times \text{ の場合 }<\end{array}{d}_{}\right(\times )=\{\begin{array}{ll}-\infty & \times \text{ の場合 }=-1\\ バツ-\frac{}{255}& \times \text{ の場合 }>-\end{array}\end{array}$$
この公式は元の論文から来ており、ここではその意味を分析します。つまり、最後のステップ${バツ}_{}$ノイズ除去された画像をフィット${バツ}_{}$、画像の各ピクセルをガウス分布に設定し、合計$D$ピクセル。一方${バツ}_{}$各ピクセルの元の値の範囲は$\{0,1、\dots 、255\}$ 、正規化後に$[-1、1]$の範囲です。

ここで、単一のx 1 x_1を取り出します。${バツ}_{}$x 1 i x_1^i上のピクセル${バツ}_1^{}$、関数$N\left(x;{メートル}_{私}^{}\left({\times }_{}、1\right)、p_1^{}\right)$、当てはめられるターゲットは${バツ}_{}$対応する位置画素点${バツ}_0^{}$ ，而 ${バツ}_0^{}$元の離散空間の値の範囲$\{0,1、\dots 、255\}$は連続空間$[-1、1]$であるため、元の各離散値は連続空間の間隔に対応し、間隔マッピングの式は次のようになります。
$$\begin{array}{rl}{d}_{}(x& =\left\{\begin{array}{ll}\infty & \times \text{ の場合 }=1\\ バツ+\frac{}{255}& \times \text{ の場合 }<\end{array}{d}_{}\right(\times )=\{\begin{array}{ll}-\infty & \times \text{ の場合 }=-1\\ バツ-\frac{}{255}& \times \text{ の場合 }>-\end{array}\end{array}$$

上記は、損失関数構築部分を含む、DDPM の拡散および逆拡散プロセスに含まれるすべての式の解析と導出です。

参考文献とブログ

拡散モデルを理解する: 統一された視点による
ノイズ除去拡散確率モデル
https://yinglinzheng.netlify.app/diffusion-model-tutorial
https://zhuanlan.zhihu.com/p/549623622