Fuente丨Qubit
Editar 丨 Plataforma Gokushi
De pie en la puerta y echando un vistazo, la IA puede inventar cómo se ve la habitación:
¿Huele como una visualización de realidad virtual en línea?
No solo los efectos en interiores, sino también una fotografía aérea de largo alcance con lentes largas es muy fácil:
Y las imágenes renderizadas son todas efectos de alta fidelidad, como si hubieran sido tomadas con una máquina real.
Recientemente, la investigación sobre la síntesis de escenas 3D a partir de imágenes 2D ha sido popular.
Sin embargo, en muchos estudios anteriores, las escenas sintéticas a menudo se limitan a un espacio relativamente pequeño.
Por ejemplo, el NeRF anterior, el efecto es girar alrededor del cuerpo principal de la imagen.
El nuevo progreso esta vez es ampliar aún más la perspectiva y centrarse más en permitir que la IA prediga imágenes de larga distancia.
Por ejemplo, dada la puerta de una habitación, puede sintetizar la escena después de atravesar la puerta y caminar por el pasillo.
En la actualidad, los artículos relacionados con esta investigación han sido aceptados por CVPR2022.
Entrada de cuadro único y pista de cámara
Permita que AI infiera el siguiente contenido basado en una imagen. ¿Se parece un poco a dejar que AI escriba artículos?
De hecho, los investigadores utilizaron esta vez el Transformador comúnmente utilizado en el campo de la PNL .
Utilizaron el método del transformador autorregresivo para sintetizar un efecto de tiro largo de larga distancia al ingresar una sola imagen de escena y la trayectoria de movimiento de la cámara, de modo que cada cuadro generado corresponda a la posición de la trayectoria de movimiento uno por uno.
Todo el proceso se puede dividir en dos etapas.
La primera etapa entrena previamente un VQ-GAN , que puede asignar la imagen de entrada al token.
VQ-GAN es un modelo de generación de imágenes basado en Transformer, su mayor característica es que las imágenes generadas son de muy alta definición .
En esta parte, el codificador codificará la imagen en una representación discreta y el decodificador asignará la representación a una salida de alta fidelidad.
En la segunda etapa, después de procesar las imágenes en tokens, los investigadores utilizaron una arquitectura similar a GPT para la autorregresión .
En el proceso de entrenamiento específico, la imagen de entrada y la posición inicial de la trayectoria de la cámara deben codificarse como tokens de un modo específico, y al mismo tiempo debe agregarse una entrada PE de posición desacoplada.
Luego, el token se envía a un transformador autorregresivo para predecir la imagen.
El modelo inicia la inferencia a partir de una sola imagen de la entrada y sigue aumentando la entrada mediante la predicción de fotogramas antes y después.
Los investigadores descubrieron que no todos los fotogramas generados en cada momento de la trayectoria son igualmente importantes. Por lo tanto, también explotaron una restricción de localidad para guiar al modelo a centrarse más en la salida de los fotogramas clave.
Esta restricción de localidad se introduce a través de la trayectoria de la cámara.
Según la posición de la pista de la cámara correspondiente a los dos cuadros, los investigadores pueden ubicar los cuadros superpuestos y determinar dónde está el siguiente cuadro.
Para combinar lo anterior, calcularon un "sesgo de percepción de la cámara" usando MLP.
Este enfoque facilita la optimización y juega un papel crucial para garantizar la consistencia de las imágenes generadas.
Resultados experimentales
Este estudio lleva a cabo experimentos en conjuntos de datos RealEstate10K y Matterport3D.
Los resultados muestran que este método produce imágenes de mejor calidad que los modelos que no especifican las trayectorias de la cámara .
Este método también funciona significativamente mejor que el método de trayectorias de cámara discretas.
El autor también analiza visualmente la atención del modelo.
Los resultados muestran que se presta más atención cerca de la ubicación de la trayectoria del movimiento.
En los experimentos de ablación, los resultados muestran que el método en el conjunto de datos Matterport3D, el sesgo de percepción de la cámara y la incrustación de la posición desacoplada ayudan a mejorar la calidad de la imagen y la consistencia cuadro a cuadro.
Ambos autores son chinos.
Xuanchi Ren es estudiante de pregrado en la Universidad de Ciencia y Tecnología de Hong Kong.
Hizo una pasantía en el Instituto de Investigación de Microsoft Asia y cooperó con el profesor Xiaolong Wang en el verano de 2021.
Xiaolong Wang es profesor asistente en la Universidad de California, San Diego.
Se graduó de la Universidad Carnegie Mellon con un título en robótica.
Sus intereses de investigación incluyen visión artificial, aprendizaje automático y robótica. Especialmente en áreas como el aprendizaje autosupervisado, la comprensión de videos, el razonamiento de sentido común, el aprendizaje por refuerzo y la robótica.
Dirección en papel:
https://xrenaa.github.io/look-outside-room/
Este artículo es solo para uso académico, si hay alguna infracción, comuníquese para eliminar el artículo.
Descarga y estudio de productos secos
Respuesta entre bastidores: material didáctico de la Universitat Autònoma de Barcelona , puede descargar el material didáctico de alta calidad 3D Vison acumulado por universidades extranjeras durante varios años
Respuesta de fondo: libros de visión por computadora , puede descargar el pdf de libros clásicos en el campo de la visión 3D
Respuesta entre bastidores: cursos de visión 3D, puede aprender excelentes cursos en el campo de la visión 3D
Cursos de calidad visual 3D recomendados:
1. Tecnología de fusión de datos multisensor para conducción autónoma
2. ¡Una ruta de aprendizaje completa para la detección de objetivos de nube de puntos 3D en el campo de la conducción autónoma! (Modo único + multimodal/datos + código)
3. Comprender a fondo la reconstrucción visual en 3D: análisis de principios, explicación del código y optimización y mejora
4. El primer curso de procesamiento de nubes de puntos doméstico para combate a nivel industrial
5. Visión láser -Combinación de algoritmo SLAM de fusión IMU-GPS
y explicación de
código
Principio de algoritmo clave SLAM láser para interiores y exteriores, código y combate real (cartógrafo + LOAM + LIO-SAM)
11. El despliegue real de modelos de aprendizaje profundo en la conducción autónoma
12. Modelo de cámara y calibración (monocular + binocular + ojo de pez)
13. ¡Pesado! Cuadricópteros: algoritmos y práctica
14. ROS2 desde el inicio hasta el dominio: teoría y práctica
¡Pesado! Taller de Visión por Computador - Se ha establecido un Grupo de Intercambio de Aprendizaje
Escanee el código para agregar un asistente de WeChat, y puede solicitar unirse al taller de visión 3D: grupo de intercambio WeChat de redacción y envío de artículos académicos, que tiene como objetivo intercambiar asuntos de redacción y envío, como conferencias principales, revistas principales, SCI e EI.
Al mismo tiempo , también puede solicitar unirse a nuestro grupo de comunicación de subdivisión. En la actualidad, hay principalmente aprendizaje de código fuente de la serie ORB-SLAM, visión 3D , CV y aprendizaje profundo , SLAM , reconstrucción 3D , posprocesamiento de nube de puntos , automático conducción, introducción de CV, medición 3D, VR / AR, reconocimiento facial 3D, imágenes médicas, detección de defectos, reidentificación de peatones, seguimiento de objetivos, aterrizaje visual de productos, competencia visual, reconocimiento de matrículas, selección de hardware, estimación de profundidad, intercambios académicos, intercambios de búsqueda de empleo y otros grupos de WeChat, escanee la siguiente cuenta de WeChat más grupo, comentarios: "dirección de investigación + escuela/empresa + apodo", por ejemplo: "visión 3D + Universidad Jiaotong de Shanghái + Jingjing". Comente de acuerdo con el formato, de lo contrario no será aprobado. Después de que la adición sea exitosa, se invitará al grupo WeChat relevante de acuerdo con la dirección de la investigación. Póngase en contacto con las presentaciones originales .
▲Presione prolongadamente para agregar un grupo de WeChat o contribuir
▲Presione prolongadamente para seguir la cuenta oficial
Visión 3D desde la entrada hasta el planeta del conocimiento competente : cursos de video para el campo de visión 3D (serie de reconstrucción 3D , serie de nube de puntos 3D, serie de luz estructurada , calibración mano-ojo, calibración de cámara , láser/visión SLAM, conducción automática, etc. ), resumen de puntos de conocimiento, ruta de aprendizaje avanzado y de entrada, el último intercambio de documentos y respuesta a preguntas para un cultivo en profundidad, y orientación técnica de ingenieros de algoritmos de varios fabricantes importantes. Al mismo tiempo, Planet cooperará con empresas conocidas para publicar posiciones de desarrollo de algoritmos relacionados con la visión 3D e información de acoplamiento de proyectos, creando un área de reunión para fanáticos acérrimos que integra tecnología y empleo. Casi 4,000 miembros de Planet hacen progresos comunes y conocimiento para crear un mejor mundo de IA.
Aprenda la tecnología central de la visión 3D, escanee y vea la introducción, reembolso incondicional dentro de los 3 días
Hay materiales tutoriales de alta calidad en el círculo, que pueden responder preguntas y ayudarlo a resolver problemas de manera eficiente
Lo encuentro útil, por favor dale me gusta y mira ~