All_in_One_Bad_Weather_Removal_Using_Architectural_Search
Este artículo se publicó en CVPR2020 y propone un modelo de eliminación de ruido que puede hacer frente a una variedad de condiciones climáticas adversas y puede realizar simultáneamente operaciones de eliminación de lluvia, nieve y niebla. Pero esa parte del código no parece ser de código abierto.
El problema surgió:
el modelo actual sólo puede hacer frente a un tipo de clima severo y no se puede aplicar a una variedad de clima severo complejo.
Todos los conjuntos de datos de eliminación de ruido actuales se producen artificialmente y son diferentes de los datos reales.
Innovación 1: modelo de eliminación de ruido todo en uno
La estructura general del método se muestra en la figura siguiente, que está diseñada en base al modelo de red neuronal confrontacional, que incluye un generador (Generador) y un discriminador (Discriminador). A diferencia del pasado, que sólo puede lidiar con un tipo de ruido climático severo, este documento propone un modelo de eliminación de ruido todo en uno, que puede completar simultáneamente las operaciones de eliminación de lluvia, eliminación de nieve y eliminación de niebla.
En el generador, incluye principalmente tres módulos de extracción de características （雨雪雾 FE，Feature Exactor), uno 特征选择模块(Búsqueda de características) y otro 解码器模块(Decodificador), y el discriminador juzga si la imagen generada es verdadera, devuelve el resultado al generador, calcula la pérdida y realiza la propagación inversa. para actualizar los parámetros en el generador.
El generador consta de codificadores con múltiples tareas, cada una asociada con un tipo de clima severo específico, y se utiliza la búsqueda de arquitectura neuronal para optimizar las características de la imagen extraídas de cada codificador y convertir estas características en imágenes limpias. Es decir, la idea es: ingresar la imagen que contiene lluvia, nieve y niebla en el generador, realizar la extracción de características a través del codificador (FE) en el generador, optimizar las características extraídas mediante la búsqueda de arquitectura neuronal, seleccionar buena información de características y extraer la características extraídas La información se envía al decodificador para generar una imagen limpia, es decir, se completa el proceso de eliminación de ruido.
módulo generador
Se utilizan varios codificadores para extraer características limpias de diferentes imágenes de condiciones climáticas adversas para restaurarlas y producir imágenes limpias.
Punto de innovación 2: módulo de búsqueda de funciones
La consulta de arquitectura neuronal en realidad consiste en encontrar funciones limpias y convertirlas en imágenes limpias.
Se puede ver que además de la operación de convolución convencional en el módulo FeatureSearch, existen conexiones residuales, mecanismos de autoatención, etc.
Los modelos convencionales de desempañamiento y eliminación de neblina se definen de la siguiente manera:
También se puede expresar de la siguiente manera: extraiga y aprenda M mediante convolución 1x1, para estimar M, y la operación realizada se muestra en 4.1.
Punto de innovación 3: discriminador auxiliar multiclase
El discriminador basado en la red de confrontación generativa (GNN) está entrenado para juzgar el efecto de la imagen restaurada (es decir, para juzgar la autenticidad de la imagen generada), pero no proporciona una señal de error. En un modelo, no basta con conocer solo lo verdadero y lo falso. Es necesario conocer el tipo de imagen generada para que el codificador pueda actualizar los parámetros según diferentes tipos, por lo que se propone un discriminador auxiliar multiclase para clasificar. la imagen, de modo que solo los parámetros del discriminador correspondiente se actualicen cuando se pierda el discriminante de retropropagación.
Ideas específicas
Modelado de imágenes neblina
Entre ellos, I (x) es una imagen de niebla, más específicamente, I (x) es la imagen de lluvia en la posición x, J (x) es la luz reflejada del objetivo observado, es decir, la imagen después de la eliminación de neblina, A es el coeficiente de luz atmosférica, t(x) es la transmitancia atmosférica, t(x)= e^-βd(x), donde d(x) es el mapa de profundidad de la escena y β es el coeficiente de dispersión de la luz atmosférica. De la fórmula (1), se puede saber claramente que la imagen sin niebla J(x) se puede recuperar a partir de la imagen con niebla I(x) solo obteniendo t(x) y A.
El modelo físico de imagen lluviosa y de imagen con niebla es muy similar, por lo que se puede definir como:
Entre ellos, Ri representa la línea de lluvia de la i-ésima capa.
Modelado de imágenes de lluvia
donde I(x) es la imagen en color de la gota de lluvia y M(x) es la máscara de la imagen binaria. J (x) es la imagen de fondo, es decir, una imagen limpia, y K es la gota de lluvia adjunta traída por la imagen, que representa el entorno donde la imagen borrosa forma un reflejo de luz.
Modelado de imágenes de copos de nieve
donde S representa copos de nieve yz es una máscara binaria que representa la ubicación de la nieve.
Según la fórmula del modelo físico anterior, las definiciones de diferentes imágenes de ruido climático severo son diferentes, razón por la cual el modelo original es un modelo para lidiar con un tipo de ruido climático severo, pero según la fórmula, también podemos ver su interior. conexión, que puede ser El modelo de imagen de ruido en condiciones climáticas severas se define de la siguiente manera:
