Autor | Yong Guo, Chen Jian, etc.
Traductor | Liu Chang
Producido | AI campamento de base tecnológica (ID: rgznai100)
A partir de la baja resolución (LR) imágenes a una función de mapeo no lineal de alta resolución (HR) entre la imagen, la profundidad de la red neuronal logran un buen rendimiento en la tarea de super-resolución de imagen (SR) a través del aprendizaje.
Sin embargo, el método SR dos inconvenientes existentes: en primer lugar, aprender de la función de mapeo de imágenes HR LR es normalmente un problema mal planteado, porque hay imagen HR infinita se puede bajar muestrea a la misma imagen LR, lo que hace que sea difícil encontrar una buena solución. En segundo lugar, el par de datos LR-HR no se aplique en la práctica, ya que el método de degradación de la imagen es generalmente desconocida. Para este caso más general, los modelos SR convencionales se caracterizan por producir un peor rendimiento.
Para resolver los problemas anteriores, se propone un método de regresión dual, que funciona para reducir el espacio de la solución mediante la introducción de restricciones adicionales en los datos LR.
Específicamente, además de aprender el mapeo imagen HR para LR de, los métodos de la presente memoria también aprendieron mapa retorno dual adicional para las estimaciones del núcleo y submuestreo reconstruyen imágenes LR, formando de este modo un bucle cerrado, puede proporcionar una supervisión adicional.
Más al punto, porque el proceso de doble homing no se basa en la imagen de recursos humanos, por lo que podemos aprender directamente de la imagen LR. En este sentido, podemos adaptar fácilmente a la escena real modelo SR, tales como el vídeo original de YouTube. Los resultados experimentales muestran que el método propuesto es superior a los métodos existentes, y se puede lograr mejores resultados en la escena real.
introducción
Profundidad método de redes neuronales (DNN) se ha convertido en la principal fuerza en muchas aplicaciones prácticas, incluyendo la clasificación de imágenes, vídeo y así la comprensión.
Recientemente, la imagen de super-resolución (SR) se ha convertido en una dirección popular, es sobre todo aprender de la baja resolución de las imágenes (LR) a una alta resolución (HR) de mapeo no lineal entre las imágenes. Muchos método de reconstrucción de super-resolución se basa en la profundidad del aprendizaje se han propuesto. Sin embargo, estos métodos tienen dos limitaciones principales:
En primer lugar, aprender de la asignación de recursos humanos imagen LR es normalmente un problema mal planteado, porque hay un número infinito imagen posible de recursos humanos puede ser muestreada hacia abajo para obtener la misma imagen LR. Esto hace que la asignación de recursos humanos LR imagen del espacio de la solución se vuelve grande. Es difícil de aprender una buena solución en un espacio tan grande, el rendimiento del modelo está limitado. Con el fin de mejorar el rendimiento de la SR, el modelo puede ser diseñado de manera eficiente mediante el aumento de la complejidad del modelo, por ejemplo EDSR, DBPN y RCAN. Sin embargo, estos métodos todavía hay un gran problema de espacio de la solución, lo que resulta en un rendimiento limitado de super-resolución, no textura fina (ver Fig. 1). Por lo tanto, la forma de reducir la función de mapeo espacio de soluciones para mejorar el rendimiento del modelo SR se ha convertido en una cuestión más importante.
En segundo lugar, cuando no se puede obtener datos emparejados, es difícil obtener un mejor modelo SR. Esto se debe a la visión de la mayoría de los métodos LR SR dependen de los pares de datos de formación, es decir, la imagen de recursos humanos y rebaja bicúbica. Pero la realidad es por lo general más datos no apareados. Por otra parte, el mundo real no necesariamente tiene la misma distribución de la imagen LR obtenido por disminución de la resolución del método específico (por ejemplo, dos y tres veces). Por lo tanto, los modelos SR pueden manejar la situación real es muy difícil. Más al punto, si vamos a ser aplicados directamente a los datos del mundo real modelo SR existentes, que a menudo conduce a graves problemas de generalización, y producen malos resultados. Por lo tanto, cómo utilizar eficazmente los datos para que el modelo SR desapareado adaptado a la aplicación real es una cuestión más importante.
En este trabajo, los autores proponen un nuevo método de doble regresión, el programa forma un bucle cerrado para mejorar el rendimiento de la SR.
Para resolver el primer problema, este artículo introduce una restricción adicional para reducir el espacio de soluciones posibles, para que la imagen de super-resolución puede ser la imagen de entrada LR reconstruida.
Idealmente, si el mapeo de la LR → HR es óptima, puede ser hacia abajo la imagen de super-resolución muestreada para obtener las mismas imágenes LR entrada. En estas limitaciones, se puede estimar el núcleo muestreo descendente, reduciendo así la posibilidad de espacio funcional, encontrar mapas de LR a HR mejor. Por lo tanto, se hace más fácil obtener un buen modelo SR (véase la Figura 1 en comparación).
Para resolver el segundo problema, porque la imagen de retorno LR no depende de la imagen HR, nuestro método puede aprender directamente de la imagen LR. De esta manera, el método propuesto se puede ajustar fácilmente con el modelo SR es aplicable al mundo real de los datos LR, tales como el vídeo original de Youtube. Los experimentos muestran que el método descrito en este documento es superior al método de SOTA.
La contribución de este artículo se resumen como sigue:
Mediante la introducción de restricciones adicionales propuestos método de regresión dual, para formar un mapeo de bucle cerrado, modelo de rendimiento SR puede ser mejorada. Además, este artículo analiza la capacidad de generalización del programa teóricamente confirmó además que el esquema es superior a los métodos convencionales.
Este trabajo estudia el caso más general de super-resolución, si no hay datos reales de datos LR recursos humanos correspondientes. Utilizando el método de regresión de doble propuesta, se puede ajustar fácilmente el modelo de profundidad se aplica a los datos del mundo real, tales como el vídeo original de YouTube.
Utilizando datos de entrenamiento emparejados y no emparejados hecho un montón de los experimentos SR escena real para probar la validez de la imagen de super-resolución en el método de regresión de doble propuesta en este documento.
método
Este artículo presenta un método de regresión doble para hacer frente a los datos de entrenamiento emparejado y no emparejado para lograr la super-resolución (SR) reconstrucción. El programa de formación general se muestra en la figura.
El entrenamiento de pares de datos, principalmente a través de la introducción de una restricción adicional sobre los datos LR, además de aprender a LR asignación de recursos humanos, el documento también aprendió inversa mapeo de imagen LR la super-resolución. De hecho, el problema autor SR formulado como modelo de regresión de doble consiste en dos tareas de regresión. función de pérdida se muestra a continuación, consta de dos partes, una pérdida de red P, una pérdida de red D, peso recomendado se establece en 0,1.
Entrenando para no apareados datos, los autores también consideran un caso más general SR, la escena real correspondiente, no hay datos de recursos humanos correspondientes pueden ser utilizados para el entrenamiento. Por lo tanto, los autores proponen un métodos de formación eficaces, se puede hacer más adaptarse a los nuevos datos del modelo LR SR, como se muestra en el algoritmo de entrenamiento es el siguiente.
Este es un método semi-aprendizaje supervisado, utilizando un par de red de datos de entrenamiento P, D utilizando la red de trenes de datos no apareados. Función objetivo es el siguiente, en el que cuando los datos utilizando una etiqueta, 1SP 1, al usar los datos de la etiqueta no es, 1SP es 0.
La estructura general de la red como se muestra a continuación, que se basa en el diseño de la red super-resolución T-Net. modelo DRN de este documento se compone de dos partes: la red original y la red dual. El autor también da una justificación teórica se detalla, no entrar aquí, los detalles se pueden encontrar en el documento.
experimento
En Bicúbico de datos y los datos reales de casos no apareado de un par de imágenes de super-resolución de la tarea de llevado a cabo extensos experimentos comparativos. Todas las implementaciones se basan en el marco PyTorch. Cinco conjunto de datos de prueba es un conjunto de datos de referencia que comprende SET5, SET14, BSDS100, URBAN100 y MANGA109. La evaluación se utiliza comúnmente PSNR y SSIM. Conjunto de Entrenamiento es DIV2K y Flickr2K conjuntos de datos.
El autor primeros muestra una comparación de los resultados del modelo y tamaño de 4x y 8x SR. En el experimento, los autores proponen dos modelos, a saber, modelo pequeño y grande DRN-S modelo DRN-L. Los resultados obtenidos método de contraste de su modelo de pre-formación de código fuente abierto o los documentos originales. Los resultados son los siguientes :
También se proporciona 4 veces y 8 veces super-resolución super-resolución, el gráfico compara el rendimiento de cada método.
Los autores también estudiaron los efectos del peso pesado entre la red y dos P función de pérdida de red D. Y si se debe elevar el doble impacto del aprendizaje. Como se muestra en la siguiente tabla.
Por último, los autores compararon los efectos de la reconstrucción de la escena real, sólo para mostrar los resultados de la visual. También en comparación el efecto de la diferente utilización de método de interpolación se puede encontrar que los efectos descritos en este documento son óptimas.
conclusión
En este trabajo, los autores proponen un método de regresión dual para datos apareados y no apareados. En datos apareados, limitación del espacio de soluciones se introduce a través de las imágenes reconstruidas LR, puede mejorar significativamente el rendimiento del modelo SR. Además, este artículo se centrará en los datos no apareados, y se aplica a los datos reales de los métodos de regresión duales, como de YouTube el vídeo original. Un gran número de experimentos para datos apareados y desapareados resultó ser superior a los métodos descritos en este documento, el método de referencia.
Papeles Dirección:
https://arxiv.org/pdf/2003.07018.pdf
【Fin】
Hoy a las 8:00 pm , con la vista de Sophon KG Cómo buscamos la nueva trayectoria virus de la corona, el uso de técnicas de IA, herramientas para crear mapas de conocimiento, por familiares confirmaron casos, una red de colegas y amigos para identificar estrechos contactos y aislamiento oportuna y caracterización un caso confirmado de actividades de la pista, para encontrar un estrecho contacto fuera de sus redes y virales posible "entorno de ataque."
lectura recomendada
☞ 154 desarrolladores Wan AI para utilizar los datos que le diga, ¿cómo podemos convertir a superar a China AI?
☞ UAV china Memorias "viejo cañón niño"
☞ El sobrecalentamiento vibrato debut en vivo: 3 horas 110 millones; la exposición de tres pantallas plegables patente de la máquina de Microsoft, Linux Mint 20 proporciona sólo versiones de 64 bits
☞ "carry muertos" alto flujo concurrente, agarrar la cebada vota la tecnología de carreteras Nirvana
☞ Bitcoin de los "hombres enmascarados" para crear ese lado "Bitcoin" crearía un hombre enmascarado?
☞ En el continuo despliegue y mejores prácticas incorporado en el envase
Nos fijamos en cada punto, en serio como favorito
Haga clic para leer el original , que participan en el periódico nombre!
