Подробное объяснение основных принципов модели диффузии (3) стохастического дифференциального уравнения (СДУ)

Эта статья является продолжением "Подробного объяснения основных принципов модели распространения (2) Генеративное моделирование на основе показателей (SGM)" и продолжает знакомить с другой связанной моделью распространения. Точно так же ссылки и детали такие же, как и в предыдущем статья такая же, и читатели могут обратиться к ней самостоятельно.Эта статья является завершением основного введения в диффузию.Эта статья посвящена части стохастического дифференциального уравнения (СДУ). Большая часть теории в этой статье взята из оригинального текста SDE Song Yang et al., пожалуйста, нажмите на ссылку.
Содержание данной статьи требует изучения предварительного знания « Стохастический процесс ».

3. Стохастическое дифференциальное уравнение (SDE)

Мы заметили, что будь то DDPM или SGM, все они имеют общую характеристику: цепочка добавления шума и процесс шумоподавления оба дискретизированы , то есть следуют временному шагу $1~T$ разбивается, как мы подчеркивали, конечно, время$T$ должно быть достаточно большим, чтобы гарантировать, что наши окончательные выборки с добавленным шумом приближаются к стандартному нормальному распределению (если вы не понимаете, см. введение в первом разделе). На самом деле это случайный процесс.Идея СДУ состоит в том, чтобысделать этот дискретный процесс случайного управления непрерывным, поэтому должна быть задействована теория и принцип стохастического дифференциального уравнения (стохастическое управление). Сун Ян и др. дали подробное визуальное описание этого процесса (из рисунка видно, что мы хотим описать проблему через непрерывный процесс).

3.1, СДУ прямого броуновского движения (положительный временной ряд плюс шумовое стохастическое дифференциальное уравнение броуновского движения)

Сначала приведите формулу стохастического дифференциального уравнения положительного временного ряда , где $ф(х,t)$ называетсяx ( t ) x(t)Коэффициент дрейфа$x$$($$t$$)$$g\left(t\right)$ называетсяx ( t ) x (t)Коэффициент диффузии$x$$($$t$$)\; .$$w$ — стандартное броуновское движение положительных временных рядов.
$$дх"="ф(х,т)дт+g\left(t\right)dw$$
Давайте докажем, что, будь то DDPM или SGM, они оба являются дискретными версиями SDE.

3.1.1 Эквивалентность между DDPM и прямым броуновским движением SDE

Мы уже знаем из (1), что для DDPM длина цепи равна $N$ -подобный процесс сложения:
$${Икс}_{}"="\sqrt{1-{б}_{}}{Икс}_{я-}+\sqrt{{б}_{}}{г}_{я-}$$
令${б}_{}"="\frac{{б}_{}}{Н}$，令$б\left(\frac{}{Н}\right)"="{б}_{}$，$х\left(\frac{}{Н}\right)"="{Икс}_{}$，$г\left(\frac{}{Н}\right)"="{г}_{}$
Приведенную выше формулу можно изменить:
$$х\left(\frac{}{Н}\right)"="\sqrt{1-\frac{}{Н}б\left(\frac{}{Н}\right)}х\left(\frac{я-}{Н}\right)+\sqrt{\frac{}{Н}б\left(\frac{}{Н}\right)}г\left(\frac{я-}{Н}\right)$$
Если$\frac{}{Н}$Что касается дискретного размера небольшого шага, то мы можем думать, что это эквивалентно
$$х\left({т}_{}\right)"="\sqrt{1-△t\beta \left(t_{}\right)}х\left({т}_{я-}\right)+\sqrt{△t\beta \left(t_{}\right)}г\left({т}_{я-}\right)$$
, чтобы сделать его непрерывным:${т}_{я-}+△т"="{т}_{}$
$$х(т+△т)"="\sqrt{1-△t\beta (t+△т)}х\left(т\right)+\sqrt{△t\beta (t+△т)}z\left(t\right)$$
将其Taylor近似进行展开
$$х(т+△т)\approx [1-\frac{}{2}△t\beta (т+△т)]х\left(т\right)+\sqrt{△t\beta (t+△т)}z\left(t\right)---\left[DDPM\right]$$
$$х(т+△т)-х\left(т\right)\approx -\frac{}{2}△t\beta \left(т\right)х\left(т\right)+\sqrt{△t\beta \left(т\right)}z\left(t\right)---\left[DDPM\right]$$
而这即:
$$дх"="-\frac{}{2}\beta \left(т\right)Икс\left(т\right)dт+\sqrt{б\left(т\right)}dw——\left[SDE\right]\approx \left[ДДПМ\right]$$

3.1.2. Эквивалентность SGM и прямого броуновского движения SDE

Мы уже знаем из (2), что для SGM цепь длины равна $N$的加噪过程为：
$${Икс}_{}～Н({х}_{},{п}_{я}^{}я),{х}_{я-}～Н({х}_{},{п}_{я-1}^{}я)$$
${Икс}_{}$Можно рассматривать как начиная с ${Икс}_{я-}$Добавлен независимый $Н(0,({р}_{я}^{}-{п}_{я-1}^{}\left)I\right)$来获得。
即
$${Икс}_{}"="{Икс}_{я-}+\sqrt{({р}_{я}^{}-{п}_{я-1}^{})}{г}_{я-}$$
令$х\left(\frac{}{Н}\right)"="{Икс}_{},с\left(\frac{}{Н}\right)"="{п}_{},з\left(\frac{}{Н}\right)"="{г}_{}，{х}_{}"="{Икс}_{я-}+△t$
上式变成了：
$$х(т+△т)"="х\left(т\right)+\sqrt{\left({р}^2\right(т+△т)-{п}^2(т))}{г}_{}$$
$$х(т+△т)-х\left(т\right)"="\sqrt{\frac{\left({р}^2\right(т+△т)-{п}^2(т)}{△т}△т}{г}_{}t——\left[SGM\right]$$
$$х(т+△т)-х\left(т\right)\approx \sqrt{\frac{д\left({р}^2\right(т)}{дт}△т}{г}_{}——\left[SGM\right]$$
А это:
$$дх"="\sqrt{\frac{д\left({р}^2\right(т)}{дт}}dw——\left[SDE\right]\approx \left[СГМ\right]$$

3.1.3 Новая производительность SDE

В связи с приведенным выше обсуждением мы уже знаем следующую эквивалентность
$дх"="-\frac{}{2}\beta \left(т\right)Икс\left(т\right)dт+\sqrt{б\left(т\right)}dw——\left[SDE\right]\approx \left[DDPM\right]$
$дх"="\sqrt{\frac{д\left({р}^2\right(т)}{дт}}dw——\left[SDE\right]\approx \left[SGM\right]$
Сонг и др. предлагают в качестве альтернативы метод SDE с лучшими характеристиками
$дх"="-\frac{}{2}\beta \left(т\right)Икс\left(т\right)dт+\sqrt{б\left(т\right)(1-2е{\_}^{-2{\int }_{о}^{}\beta \left(s\right)ds})}dw——\left[NSDE\right]$

С помощью кратких доказательств в 3.1.2 и 3.1.1 мы даем эквивалентность между SDE и DDPM/SGM в цепочке добавления шума, которая показывает, что процесс добавления шума DDPM и SGM является дискретизированным процессом SDE. SDE всесторонне рассматривает недостатки и преимущества вышеупомянутых двух непрерывных добавок шума, и автор предлагает метод NSDE.

3.2 Обратное броуновское движение SDE (стохастическое дифференциальное уравнение броуновского движения с обратной синхронизацией шумоподавления)

3.2.1. Обратное броуновское движение SDE.

Андерсон указал, что процесс, обратный процессу прямого добавления шума, по-прежнему является стохастическим дифференциальным уравнением. Подробное описание этой части дано Сонгом и др. Формула выглядит следующим образом, где $ф(х,t)$ называетсяx ( t ) x(t)Коэффициент дрейфа$x$$($$t$$)$$g\left(t\right)$ называетсяx ( t ) x (t)Коэффициент диффузии$x$$($$t$$)\; .$$\widehat{ж}$ - стандартное броуновское движение обратного временного ряда,${п}_{}\left(х\right)$ есть$x\left(t\right)$ функция плотности распределения.
$$дх"="\left[ж\right(х,т)-{г}^2(т\left){\nabla }_{}лог\right({р}_{}(х))]дт+г(т)д\widehat{ж}$$

3.2.2 Эквивалентность траекторий между ОДУ потока вероятностей (обыкновенное дифференциальное уравнение потока вероятностей) и СДУ.

Сонг и др. доказали, что для любого обратного временного ряда, шумоподавляющего процесс стохастического дифференциального уравнения броуновского движения, существует соответствующее обыкновенное дифференциальное уравнение детерминированного потока вероятностей. Его трудно записать. Автор прямо дает заключение здесь. Для подробного доказательства, пожалуйста, обратитесь к приложению к оригинальному тексту Требуется знание стохастического процесса и теории вероятностей.
$$дх"="\left[ж\right(х,т)-\frac{}{2}{г}^2(т\left){\nabla }_{}лог\right({р}_{}(x))]dt$$
Формула ОДУ имеет ту же плотность ребер, что и формула СДУ${п}_{}\left(х\right)$。

3.3, обучение SDE

Будь то SDE в 3.2.1 или ODE в 3.2.2, это показывает, что в любой момент времени $В\; момент\; времени\; t$ , когда мы уже знаем егопоказатель Стевина (см. раздел II)${\nabla }_{}лог\left({р}_{}\right(x))$ , то мы можем использовать соответствующий численный метод для обратного создания выборочных данных в соответствии со временем обратного стохастического дифференциального уравнения.По сравнению с SGM, он может использовать несколько методов:

①Используйте итеративное обновление Ланжевена Монте-Карло + выборку (применимы как SGM, так и SDE) (если вы не понимаете, обратитесь ко второй лекции)
②Численные решатели SDE (применимо только к SDE)
③Численные решатели ODE (применимо только к SDE)

3.3.1, метод обучения SDE

Прочитав это, читатели должны были понять, что разница между SDE и SGM заключается в том, что один имеет дело с непрерывным типом, а другой — с дискретным типом.SDE — это продвижение SGM и DDPM.Для более общих моделей мы понимаем, что если мы можем обучать сеть, учитывая любое время $T$ (обратите внимание, что в отличие от SGM, это время может быть не целым числом), если ∇ xlog ( pt ( x ) ) \nabla_xlog(p_t(x))можно хорошо оценить${\nabla }_{}лог\left({р}_{}\right(x))$ , то для численного моделирования генерации можно использовать обратное решение SDE или обратное решение ODE, поэтому цель по-прежнему состоит в том, чтобы изучить сеть${с}_{}({х}_{},t)$。
$$Лосс"="{Е}_{t\in [0,T],{х}_{},{х}_{}}[||{с}_{}({х}_{},т)-{\nabla }_{}лог({р}_{0～}({х}_{}|{х}_{}))|{|}^2]$$其中${п}_{0～}({х}_{}|{х}_{}))$ получается путем решения задачи прямого броуновского движения SDE,$т$ из$[0,T]$ для однородной выборки,не обязательно должно быть целым числом.
После обучения сети SDE может использовать${с}_{}({х}_{},t)$ , чтобы заменить процесс обратной выборки, в каждый момент времени t процесс прямой обратной генерации удовлетворяет следующему$\left(1\right)$ или$\left(2\right)$ Сформировать:
$$дх"="\left[ж\right(х,т)-\frac{}{2}{г}^2(т\left){с}_{}\right({х}_{},t)]dt--\left(1\right)$$
$$дх"="\left[ж\right(х,т)-{г}^2(т\left){с}_{}\right({х}_{},т)]дт+г\left(т\right)д\widehat{ж}——\left(2\right)$$
Метод отбора проб может быть выполнен ①②③, упомянутым в 3.3.

4、Распространение-резюме

На данный момент автор представил текущие три основные модели Diffusion. Читателям вполне достаточно изучить вводный курс «Диффузия» Читателям предлагается выбрать исходный текст для чтения в соответствии с их интересами в последующем углубленном содержании.

Подводя итог, автор ввел (1) (2) (3) основу диффузии, где (2) (3) — связанный с ней метод Score-Function. (1) Это похоже на сквозной метод прямого прогнозирования DDPM.Я надеюсь, что это содержание может дать больше вдохновения для читателей, которые плохо знакомы с Diffusion. Конечно, введение автора гораздо менее подробно, чем исходный текст. Если вы хотите лучше понять содержание, рекомендуется прочитать эти три статьи напрямую. Автор дал ссылки Текущий статус исследования Diffusion основан на части данных трех основных моделей, части алгоритма, методе эффективной выборки и методе параметра обновления, методе взвешивания потери параметра и некоторых других частях для улучшить, но основная идея в основном такие же, как эти три модели. После прочтения (1)~(3) я надеюсь, что у вас появилось базовое понимание и интерес к диффузии, и я надеюсь вдохновить вас на ваши будущие исследования и приложения.

Все формулы набраны вручную, и автор не является ученым, специализирующимся на диффузии.Это содержание представляет собой только собственные учебные заметки и понимание автора.Конечно, могут быть небольшие ошибки или неточные выводы. Если вы обнаружите ошибки или неточности, автор очень приветствует ваши исправления и критические замечания. Автор надеется вместе со всеми изучить состояние развития и перспективы МО. В то же время автор также следит за текущим состоянием развития и новыми результатами исследований МО и МО в режиме реального времени. Если позже будет время, автор обновит кодовую часть этих трех моделей. Всем спасибо!