Resumen:
Al superar el problema del "efecto fantasma" en las soluciones tradicionales, este método muestra una gran ventaja en las pruebas comparativas, no solo puede ver la textura y la profundidad del entorno como durante el día, sino que también percibe todo tipo de objetos más allá de RGB y visión térmica. Se puede decir que la información es bastante buena para la percepción de las máquinas, especialmente para la industria de la conducción autónoma.
Use la IA para ayudar, de modo que la capacidad de visión nocturna de la máquina sea tan clara como el día——
Hoy, un nuevo método de este tipo para anular la tecnología de imágenes térmicas existente ha aparecido en la portada de Nature.
Viene de la Universidad de Purdue y la Universidad Estatal de Michigan en los Estados Unidos, y uno es un médico que se graduó de la Universidad de Zhejiang.
Al superar el problema del "efecto fantasma" en las soluciones tradicionales, este método muestra una gran ventaja en las pruebas comparativas, no solo puede ver la textura y la profundidad del entorno como durante el día, sino que también percibe todo tipo de objetos más allá de RGB y visión térmica. Se puede decir que la información es bastante buena para la percepción de las máquinas, especialmente para la industria de la conducción autónoma.
El autor cree que este logro puede acelerar directamente la cuarta revolución industrial.
¿Cómo lo ves? Abramos el papel para ver.
Visión nocturna tan clara como el día
El método de percepción de la máquina de última generación utiliza señales de calor ubicuas para reproducir información ambiental.
Pero tiene una desventaja muy obvia, es decir, producirá un "efecto fantasma".
Específicamente, el efecto se refiere a tres propiedades físicas, temperatura (T, estado físico), emisividad (e, huella digital del material) y textura (X, geometría de la superficie) debido a la emisión constante de radiación térmica de objetos y entornos. que se produce en los flujos de fotones (sólo en el caso de la visión nocturna).
Este fenómeno es causado principalmente por la falta de textura del ambiente/objeto, como se muestra en la siguiente figura:
Solo podemos ver la textura geométrica en la bombilla cuando la bombilla está apagada, una vez que se enciende desaparece por completo, y la radiación de cuerpo negro no se puede "apagar", por lo que significa que siempre obtenemos imágenes térmicas que carecen de textura y no se pueden ver un Un mundo oscuro completamente real.
Aquí, el autor propone un método llamado HADAR (detección y rango asistidos por calor), que toma el flujo de fotones térmicos como entrada, registra el cubo térmico de imágenes hiperespectrales y resuelve el desafío del efecto fantasma a través de la descomposición de TeX.
El autor dijo que la descomposición de TeX utiliza el aprendizaje automático para restaurar vívidamente la textura de las señales térmicas desordenadas (parte coloreada en la figura a continuación) y permite que los algoritmos de inteligencia artificial alcancen el límite de la teoría de la información, mientras que hasta ahora, los métodos tradicionales de visión térmica o RGB son difícil hacerlo.
Su implementación específica se muestra en la siguiente figura:
Según el autor, la inspiración física de su arquitectura proviene de tres aspectos.
En primer lugar, la descomposición TeX de cubos térmicos se basa en patrones espaciales y características térmicas espectrales, lo que los inspiró a emplear capas de atención espectrales y piramidales (espaciales) en su modelo UNet.
En segundo lugar, debido a la degeneración de TeX, se debe especificar la siguiente estructura matemática para garantizar la unicidad del mapeo inverso (α, β representan el índice del objeto, v es el número de onda), por lo que el coeficiente de iluminación térmica V debe ser aprendido en lugar de la textura X. Es decir, TeX-Net no se puede entrenar de extremo a extremo.
Finalmente, la biblioteca de materiales M y sus dimensiones son la clave de toda la red.
Además, el autor también propone un método de aprendizaje no automático, a saber, TeX-SGD para generar TeX-vison como complemento.
En las pruebas, podemos ver que el método HADAR brinda una precisión ultra alta.
Como se muestra en la figura a continuación, la primera fila muestra que el método de odometría basado en la imagen térmica original tiene poca precisión debido a las imágenes fantasma, la segunda fila muestra que la textura recuperada y la precisión mejorada en HADAR son aproximadamente 100 veces en comparación con la odometría térmica;
Y en la escena de abajo (coche negro, hombre y cartón Einstein), podemos ver:
Detección de objetos impulsada por la visión En la imagen óptica (a) identificó erróneamente a dos personas y un automóvil, mientras que la nube de puntos lidar (c) no solo reconoció a dos personas sino que también perdió el automóvil, solo el método HADAR puede brindar Comprensión integral, marco preciso una persona y un coche.
El último grupo de imágenes demuestra plenamente que la capacidad visual general de HADAR durante la noche es mejor que el método actual de rango térmico más avanzado (GCNDepth), y su visión estéreo RGB está básicamente al mismo nivel que la probada durante el día, es decir , HADAR está en la oscuridad. Puedes ver las texturas del entorno y la profundidad en el entorno, como durante el día.
Sobre el Autor
Uno es Fanglin Bao, investigador de la Universidad de Purdue. Recibió su licenciatura en Física de la Universidad de Zhejiang en junio de 2011 y su doctorado en Óptica en junio de 2016.
La investigación anterior de Fanglin Bao se centró en el efecto Casimir (mecánica cuántica) en sistemas heterogéneos y ahora se extiende a redes de tensores, redes neuronales y sus aplicaciones en física cuántica.
Los autores correspondientes son Zubin Jacob, profesor de ingeniería eléctrica e informática en la Universidad de Purdue, y Vishnu Boddeti, profesor asistente en el Departamento de Ciencias de la Computación e Ingeniería de la MSU (que está reclutando estudiantes con "fuertes conocimientos matemáticos").
Dirección en papel: https://www.nature.com/articles/s41586-023-06174-6
Fuente | Qubits
[Descargo de responsabilidad] El artículo es la opinión personal del autor y no representa la posición de esta plataforma. Si hay problemas con el contenido de la obra, los derechos de autor, etc., comuníquese con nosotros por mensaje privado dentro de los 30 días posteriores a la publicación de este artículo para eliminarlo o discutir el uso de los derechos de autor.