Fengse proviene del templo cóncavo qubit | cuenta pública QbitAI
¿Cómo hacer películas viejas borrosas HD?
La respuesta de AI es un algoritmo de súper resolución:
Ahora, en el campo de la superpuntuación de videos, existe un poderoso algoritmo que ha ganado la competencia de superpuntuación NTIRE 2021 con tres coronas y un finalista , y ha ingresado a CVPR 2022.
Su nombre es BasicVSR++ , que es una mejora adicional de BasicVSR, el modelo SOTA para la superpartitura de video.
BasicVSR también ganó el campeonato NTIRE y fue seleccionado para CVPR 2021.
Ahora, este BasicVSR+++ no solo tiene un rendimiento mucho mejor que sus predecesores, sino que también se ha mejorado el PSNR (índice de evaluación de la calidad de la imagen, índice de evaluación de la calidad de la señal) en 0,82 dB bajo básicamente la misma cantidad de parámetros, y puede también se puede aplicar a más tareas de restauración de video (como comprimir video mejorado).
VSR básico mejorado
BasicVSR adopta la propagación bidireccional (propagación) + alineación de funciones, que puede extraer información efectiva en todo el video de entrada para obtener una superpuntuación.
Sin embargo, su diseño básico también limita la eficacia de la agregación de información, como la dificultad para recuperar detalles finos, especialmente cuando se trata de regiones ocluidas complejas.
Por lo tanto, la versión mejorada de BasicVSR++ se ha rediseñado en términos de propagación y alineación, usando propagación de cuadrícula de segundo orden (propagación de cuadrícula de segundo orden) y alineación deformable guiada por flujo óptico (alineación deformable guiada por flujo) Diseño para mejorar la red Capacidad de agregación de información para mejorar la solidez y eficacia de las áreas ocluidas.
Entre ellos, la cuadrícula de segundo orden puede permitir que la información se propague hacia adelante y hacia atrás desde diferentes posiciones espaciotemporales, lo que hace que la propagación de características sea más efectiva.
La alineación deformable guiada por flujo óptico permite una alineación de características más robusta de los marcos.
El uso de esta alineación se debe principalmente al efecto de entrenamiento inestable de la alineación de deformación pura, aunque la variedad de compensaciones en la red de convolución deformable (DCN) hace que la alineación de deformación supere la alineación de flujo óptico.
La arquitectura específica de BasicVSR+++ es la siguiente:
Dado el video de entrada, primero use el módulo residual para extraer las características de cada cuadro; luego, estas características se propagan en la propagación de la red de segundo orden, en la que la parte de alineación usa el flujo óptico para guiar la alineación de la deformación; una vez que se completa la propagación de la información, las características se agregan para generar la imagen de salida.
El mejor rendimiento entre los 16 algoritmos similares
El autor comparó el rendimiento, los parámetros y el consumo de tiempo de 16 algoritmos diferentes de superpuntuación de video. El resultado es que BasicVSR++ logra el mejor rendimiento en ambos métodos de degradación en todos los conjuntos de datos (el rojo representa la mejor puntuación, el azul representa la segunda mejor fracción) .
En particular, en comparación con el algoritmo de ventana deslizante de gran capacidad EDSR, BasicVSR++ logra una mejora del rendimiento de 1,3 dB, mientras que la cantidad de parámetros se reduce en un 65 %;
En comparación con el anterior IconVSR de última generación, BasicVSR++ ofrece una mejora del rendimiento de 1dB con menos parámetros.
La versión más ligera de BasicVSR++ (S) también tiene una mejora de 0,82 dB en comparación con el predecesor BasicVSR, y los beneficios son significativos.
En el efecto específico, ya sea en el conjunto de datos REDS4, Vimeo-90K-T o Vid4, BasicVSR++ puede restaurar imágenes extremadamente detalladas y el efecto es el mejor.
Actualmente, el código de BasicVSR++ es de código abierto y los estudiantes interesados pueden probarlo.
Sobre el Autor
El primer trabajo, Kelvin CK Chan, es de la Escuela de Informática e Ingeniería de la Universidad Tecnológica de Nanyang.
La dirección de investigación actual es la restauración de imágenes/videos, y se han publicado un total de 5 ponencias importantes en congresos.
El autor correspondiente es su supervisor, Chen Change Loy, profesor asociado de la Facultad de Ciencias de la Computación de la Universidad Tecnológica de Nanyang y director adjunto del S-Lab del Laboratorio Conjunto de la Universidad Tecnológica SenseTime-Nanyang.
También son los autores originales de la clase de BasicVSR.
Los dos autores restantes de BasicVSR++ son: Zhou Shangchen, estudiante de doctorado de segundo año en la escuela, y Xu Xiangyu, investigador de la escuela.
Dirección en papel:
https://arxiv.org/abs/2104.13371
Código:
https://github.com/ckkelvinchan/RealBasicVSR
Supongo que te gustará:
¡Apúntame para ver la serie de álbumes de GAN~!
¡Un almuerzo para llevar, conviértete en la vanguardia de la visión de CV!
¡Más de 110 artículos! ¡Un resumen de las ponencias GAN más completas en CVPR 2021!
¡Más de 100 artículos! ¡Un resumen de los trabajos más completos de GAN en CVPR 2020!
Desmontaje de la nueva GAN: Representación desacoplada MixNMatch
StarGAN Versión 2: Generación de imágenes de diversidad multidominio
Descarga adjunta | Versión en chino de "Aprendizaje automático explicable"
Descarga adjunta|"TensorFlow 2.0 Deep Learning Algorithm Combat"
Descarga adjunta | Compartir de "Métodos Matemáticos en Visión por Computador"
"Revisión de métodos de detección de defectos de superficie basados en aprendizaje profundo"
Una revisión de la clasificación de imágenes Zero-Shot: una década de progreso
"Revisión del aprendizaje de pocos disparos basado en redes neuronales profundas"
