Difusión bi-ruido: hacia modelos de difusión condicional con antecedentes de restauración generativa

Difusión bi-ruido: hacia modelos de difusión condicional con antecedentes de restauración generativa (lectura en papel)

Kangfu Mei, Universidad Johns Hopkins, EE. UU., arXiv, Citado: 0, Código , Papel .

prefacio

El modelo de probabilidad de difusión condicional puede modelar la distribución de imágenes naturales y puede generar diferentes muestras reales según las condiciones dadas. Sin embargo, sus resultados son a menudo poco realistas en términos de cambios de color y texturas observables. Argumentamos que este problema es causado por la discrepancia entre la distribución de probabilidad aprendida por el modelo y la distribución natural de la imagen. Las condiciones sutiles amplían gradualmente la divergencia durante cada paso de tiempo de muestreo. Para abordar este problema, presentamos un método novedoso que utiliza un modelo de difusión incondicional preentrenado para traer muestras de predicción a la variedad de datos de entrenamiento. El modelo incondicional actúa como regularizador y reduce la divergencia introducida por el modelo condicional en cada paso de muestreo. Realizamos experimentos exhaustivos para demostrar la eficacia de nuestro método en tareas de superresolución, colorización, eliminación de turbulencias y eliminación de ruido de imágenes. Las mejoras obtenidas por nuestro método muestran que los previos se pueden usar como un complemento general para mejorar los modelos de difusión condicional.

2. Pensamiento holístico

Este documento encontró a través de experimentos que el modelo de difusión condicional es similar al método SR3, y el eliminador de ruido entrenado introducirá ruido adicional. Debido a que este eliminador de ruido agrega condiciones, lo que aprende este eliminador de ruido no es un previo de imágenes naturales. Por lo tanto, en este artículo, se utilizan dos modelos de difusión (condicional e incondicional) para incorporar el previo de eliminación de ruido rico incondicional en el condicional. El método específico es obtener x ^ 0 \hat x_{0} en el modelo de difusión condicional en cada paso de tiempo de difusión intermedio${\hat{X}}_{}$La estimación aproximada de , luego usa el proceso de difusión directa para muestrear la estimación al paso de tiempo actual y finalmente usa el modelo de difusión incondicional para la difusión inversa.

3. Método

En esta sección, discutimos el mecanismo propuesto para agregar incrustaciones previas a los modelos de difusión. Por consistencia, denotamos la salida intermedia del modelo de difusión incondicional como ${ϵ}_{}(\cdot )$ , use θ \thetaen la siguiente discusión del modelo de probabilidad de difusión de eliminación de ruido (DDPM)$\theta$ parametrización. El modelo de difusión condicional adicional con$F_{}(\cdot )$ significa que los pares de imágenes condicional (es decir, imagen degradada) y natural están representados por$y_{},X_{}$Representa; que tiene el parámetro ϕ \phiEl modelo de difusión condicional de$\varphi$$F_{}(\cdot )$ representa el paso de tiempottConcat condición y en$t$$y_{}$Para imagen de ruido $X_{}$para eliminar el ruido.

En los experimentos de este documento, denotamos un modelo de difusión reciente con aprendizaje condicional para optimizar el proceso de difusión como Aprendizaje para refinar el proceso de difusión (LRDP). LRDP modela la distribución condicional de imágenes limpias a partir de imágenes degradadas para el aprendizaje de recuperación, por lo que requiere capacitación separada para diferentes tareas o conjuntos de datos. El objetivo de este proceso de aprendizaje es el siguiente:
$$L_{vlb\_}={mi}_{t\sim [1,T],ϵ\sim norte(0,yo}[||ϵ-{ϵ}_{}(y_{},X_{},t)|{|}^2]$$
aquí$X_{}$obtenidos por el proceso de pre-difusión. LRDP debe volver a capacitarse desde cero para diferentes tareas de recuperación, lo que aumenta aún más el costo de capacitación. Los experimentos encontraron que sin $y_{}$Dicho protocolo reduce la calidad visual resultante en comparación con el protocolo condicional. La suposición más directa para la degradación del rendimiento es que, debido a la ambigüedad del modelo de degradación, el supuesto posterior $p(y_{}|x_{})$ Defina la función${pag}_{}(X_{}|y_{})\propto {pag}_{}(X_{}\left){pag}_{}\right(y_{}|x_{})$ para comparar. Por lo tanto, afirmamos que descomponer el proceso de generación de difusión en diferentes protocolos debería ser un enfoque más prometedor para la tarea de restauración.

3.1 Proceso de acondicionamiento por difusión (CDP)

Dichos métodos generalmente optimizan las variables ocultas del proceso de muestreo, de la siguiente manera (poner yyreemplazar$y$$x$ lectura), donde$\sigma (\cdot )$ es la función de transición de umbral estricto, cuyo objetivo es combinar$y_{}$y $X_{t-}$para la restauración exacta. Como ILVR.

3.2 Prioridades de difusión implícitas de retroalimentación de errores

Dado que el modelo de difusión sigue un proceso de serie temporal, los errores y los artefactos visuales en cada paso se propagan y acumulan, degradando gravemente la calidad de algunos resultados de CDP. Sin embargo, estos problemas rara vez se observan en los modelos de difusión incondicional. Argumentamos que esta discrepancia surge del condicionamiento que rompe la distribución de probabilidad inherente del ruido en cada paso de tiempo de muestreo, lo que hace que se desvíen de la variedad de imágenes naturales. Por lo tanto, proponemos aplicar priorizaciones generativas integradas en el modelo incondicional preentrenado para regularizar el ruido predicho en cada paso de tiempo del modelo condicional . El método específico es entrenar dos modelos de difusión, el condicional $F_{}(\cdot )$ y la incondicional${ϵ}_{}(\cdot )$ . Aquí hay un ejemplo del primer paso del muestreo, dada la distribución gaussiana aleatoria inicial$X_{}$estimado $X_{}$, observe que estimamos con un eliminador de ruido condicional:
$${\tilde{X}}_{}=(X_{}-\sqrt{1-{\bar{a}}_{}}{F}_{}(y_{},X_{},t))/\sqrt{{\bar{a}}_{}}$$
Entonces, estimamos condicionalmente ${\tilde{X}}_{}$Propagar hacia adelante al paso actual:
$$q(x_t^{}|{\tilde{X}}_{}):=X_t^{}=\sqrt{{\bar{a}}_{}}{\tilde{X}}_{}+\sqrt{1-{\bar{a}}_{}},\_ϵ\sim norte(0,I)$$ Note el xt ′ x_{t}’
aquí$X_t^{}$y $X_{}$no es lo mismo que $X_{}$es una variable latente en el modelo de difusión incondicional. Se puede considerar que este proceso agrega nuevo ruido, que es instructivo, es decir, condiciones. Luego muestreamos usando el modelo de difusión incondicional:
$$X_{t-}=\frac{}{\sqrt{a_{}}}(X_t^{}-\frac{1-a_{}}{\sqrt{1-{\bar{a}}_{}}}{ϵ}_{}(X_t^{},t))+{pag}_{}z\text{\hspace{1em}( 4 )}$$

4. Experimenta

1. Restauración condicional de imágenes entrenada en el conjunto de datos FFHQ [30] (70000 imágenes) y evaluada en el conjunto de datos CelebA HQ (primeras 3000 imágenes) (resolución 256 × 256 píxeles).
2. La restauración de imagen condicional es una superresolución facial de 4 × entrenada en el conjunto de datos FFHQ y evaluada en el conjunto de datos CelebA HQ (primeras 3000 imágenes) con una resolución de 256 × 256 píxeles.
3. Eliminación de lluvia en el conjunto de datos Rain800 y el conjunto de datos Jorder 200L y sus respectivos conjuntos de entrenamiento. La resolución del modelo de difusión es de 256 × 256 píxeles.

Tenga en cuenta que para las dos primeras tareas, el modelo de difusión se entrena en el conjunto de datos FFHQ para la generación de rostros. Para la última tarea, se entrena un modelo de difusión en el conjunto de datos de ImageNet para la generación de imágenes naturales.