DR2: Robusto eliminador de degradación basado en difusión para la restauración de rostros ciegos

DR2: Eliminador de degradación robusto basado en difusión para la restauración de rostros ciegos (Lectura en papel)

Zhixin Wang, Universidad Jiao Tong de Shanghái, CH, CVPR2023, Citado:0, Código , Papel

1. Introducción

La pintura tradicional de rostros ciegos generalmente usa modelos de degradación predefinidos para sintetizar datos degradados de baja calidad para el entrenamiento, mientras que pueden surgir situaciones más complejas en el mundo real. La brecha entre el modelo de degradación asumido y la situación real afectará el efecto de repintado y, a menudo, aparecen artefactos en los resultados de salida. Sin embargo, es costoso e inviable incluir todo tipo de degradación en los datos de entrenamiento para cubrir la situación real. Para abordar este problema de robustez, proponemos un Robust Degradation Remover (DR2) basado en difusión, que primero convierte las imágenes degradadas en predicciones aproximadas pero que no varían con la degradación, y luego utiliza un módulo de aumento para restaurar las predicciones aproximadas en imágenes de alta calidad. Al utilizar modelos probabilísticos de difusión de eliminación de ruido bien realizados, nuestro DR2 difunde la imagen de entrada en un estado ruidoso con ruido gaussiano, varios tipos de degradaciones se transforman en ruido gaussiano y luego captura información semántica a través de un paso iterativo de eliminación de ruido. Por lo tanto, DR2 es resistente a las degradaciones comunes, como el desenfoque, el cambio de tamaño, el ruido y la compresión, y es compatible con módulos de mejora de diseño diferente. Los experimentos en varios entornos demuestran que nuestro marco supera los métodos de última generación en conjuntos de datos sintéticos y del mundo real muy degradados.

2. Pensamiento holístico

El efecto de muestreo de ILVR es promedio, y este artículo es una mejora en su método. Permítanme hablar sobre los resultados primero. Siento que los resultados de las pruebas son muy promedio, y el tipo innovador también es promedio. Nadie le presta atención en Git. No sé por qué se puede emitir CVPR. Es suerte. La idea general es controlar la cantidad de pasos de eliminación de ruido para truncar y luego usar una red mejorada para mejorar la imagen estimada (muy suave).

3. Método

El marco holístico de pintura de caras ciegas DR2E consta de un eliminador de degradación robusto basado en difusión (DR2) y un módulo de mejora (E). En la primera etapa, DR2 transforma la imagen degradada en resultados intermedios ásperos, suaves y visualmente claros pertenecientes a una distribución invariante degenerada (columna 4 en la Fig. 1). En la segunda etapa, la imagen invariante de degradación se procesa más a través de un módulo de mejora para obtener detalles de alta calidad. Con este diseño, el módulo de mejora es compatible con el diseño de varios métodos de restauración en busca de la mejor calidad de restauración, asegurando que nuestro DR2E sea robusto y de alta calidad. La primera etapa es bajar de yy a yyObtener imagen estimadax ^ 0 \hat x_0$en\; y$${\hat{X}}_{}$, y en la segunda etapa se aumenta la imagen estimada con el objetivo de maximizar la siguiente probabilidad:
$$\begin{array}{rl}{pag}_{\psi ,}& =\int {pag}_{}(X|{\hat{X}}_{}\left){pag}_{}\right({\hat{X}}_{}|y)re{\hat{X}}_{}\\ & ={mi}_{{\hat{X}}_{}\sim {pag}_{}({\hat{X}}_{}|y}\left[{pag}_{}\right(X|{\hat{X}}_{})\end{array}\text{\hspace{1em}( 1 )}$$
Entre ellos,${pag}_{}({\hat{X}}_{}|y)$ corresponde al modelo de recuperación,${pag}_{}(X|{\hat{X}}_{})$ corresponde al módulo de mejora. Para la primera etapa, hacemos una suposición importante y proponemos un método basado en la difusión para eliminar la degradación, en lugar de aprender directamente de$y$ a$El\; mapeo\; de\; x$ (generalmente involucra un modelo de degradación predefinido$z$）。

3.1 Eliminación de la degradación basada en la difusión

Hipótesis: En el proceso de difusión, existe un paso intermedio $\tau$，且$t>\tau$ , entonces existe$q(x_{}|x)$和$q(y_{}|y)$ está cerca en la parte de baja frecuencia, además, hay$Vaya>\tau$ መለ$q(x_{}|x)\_\approx q(x_{}|x)$ , esta suposición significa que agrega ruido al proceso directo y destruye los componentes de frecuencia de la imagen, y el mapa de ruido también es visualmente indistinguible para ciertos componentes de frecuencia, pero esta suposición no es lo suficientemente fuerte, solo cuando el ruido es lo suficientemente fuerte. De acuerdo con este supuesto podemos obtener:
$$\begin{array}{rl}{pag}_{}({\hat{X}}_{}|y)& =\int {pag}_{}{\hat{X}}_{}|x_{})p(x_{}|y_{}\left)p\right(x_{}|y)re{x}_{}dy{\_}_{}\\ & \approx \int {pag}_{}{\hat{X}}_{}|x_{})p(x_{}|x_{}\left)p\right(x_{}|x)re{x}_{}d{x}_{}\end{array}$$

1. En $Condición\; de\; inicialización\; en\; \omega$ : la imagen degradada$y$ obtiene x a través del proceso directo del modelo de difusión$X:=y_{}$
2. Realice un proceso de difusión inversa para obtener $X_{t-}$，使用（$t+1\le t\le \omega$ ), mientras que la imagen degradada$y$ realiza un proceso de muestreo directo para obtener$y_{t-}$. Por suposición, reemplazamos $X_{t-}$La parte de baja frecuencia es $y_{t-}$. Igual que ILVR .
3. En $El\; paso\; \tau$ truncó la salida: cuando$A\; medida\; que\; t$ se vuelve más pequeño, la intensidad del ruido se vuelve moderada y$q(x_{}|x)$和$q(y_{}|y)$ se hará gradualmente más grande, por lo que el proceso de eliminación de ruido debe realizarse en$La\; etapa\; se\; realiza\; cuando\; t$ es lo suficientemente pequeño. Nosotros directamente en el$\tau$ pasos estimados$X_{}$。

3.2 Mejora de la imagen

Para la salida de DR2, la recuperación de detalles de alta calidad solo necesita entrenar el módulo de mejora ${pag}_{}(X|{\hat{X}}_{})$ . Aquí, no hacemos suposiciones sobre la metodología o arquitectura específica de este módulo. Cualquier red neuronal que se pueda entrenar para mapear imágenes de baja calidad a imágenes de alta calidad se puede conectar a nuestro marco. Y el módulo de aumento se entrena de forma independiente con la función de pérdida propuesta.

4. Experimenta

Las implementaciones de DR2 y los módulos de aumento se entrenan de forma independiente en el conjunto de datos FFHQ, que contiene 70 000 imágenes de rostros de alta calidad. Usamos el DDPM preentrenado propuesto por ILVR para nuestro DR2. Elegimos SPARNetHD y VQFR como dos arquitecturas alternativas para el módulo de aumento.

4.1 Comparación de indicadores y visualización