obtención de imágenes tridimensionales de luz estructurada
Micro-Línea Base luz estructurada
Papeles enlace:
resumen
Proponemos un micro línea de base estructurada de luz ( el MSL), un nuevo método de formación de imágenes en tres dimensiones, diseñado para dispositivos de pequeño tamaño, tales como teléfonos móviles y micro-robots. MSL utilizando un pequeño costo de hardware proyector y proyección de referencia de la cámara, y se puede utilizar una menor cantidad de algoritmo de cálculo para la recuperación de escena profundidad. La observación principal es que cuanto menor sea la diferencia en la línea de base se traducirá en una menor, consiguiendo de esta manera una no lineal aproximación de primer orden de la imagen modelo de formación de SL. Esto conduce a los resultados clave de esta teoría: la ecuación A linealizado MSL SL método de formación de imágenes. Dado que cada píxel tiene dos incógnitas (albedo y profundidad), la ecuación MSL limitado, pero puede ser utilizado con eficacia para resolver los mínimos cuadrados parciales. Somos de un diferentes parámetros del sistema, tales como modelos de proyección de la línea de base y analizar el desempeño de MSL, y proporcionar orientación para un rendimiento óptimo. Con estas ideas, hemos construido un prototipo para probar la teoría y la práctica de pruebas.
1. Introducción
Proponemos un nuevo método SL, conocida como línea de base micro-estructurada de luz ( el MSL), que es adecuado para tal un dispositivos muy limitados, por lo tanto abertura desplegado en una pequeña baja potencia, y la baja complejidad del aparato puede ser de SL el sexo. trabajo MSL bajo las restricciones de una pequeña línea de base (micro) de la cámara proyector, tal como se muestra en la figura 1 (. B), se muestra a continuación en base a la observación: pequeñas diferencias entre el proyector y los resultados de referencia de la cámara en pequeños píxeles.
Nuestros principales ideas teóricas que pequeñas diferencias en la estructura de un modelo de formación de imagen óptica (en el caso de desconocido (y albedo profundidad) no es lineal) pueden ser linealizadas por una aproximación de primer orden. Esto dio lugar a un nuevo lineales limitaciones SL deriva, luz estructurada es decir, la línea de base micro ( el MSL) ecuación, albedo profundidad de la escena y mediciones de intensidad ligada.
2. Trabajo relacionado
Las técnicas de codificación de luz estructurada:
En general, la tecnología SL se puede dividir en el método de cámara única y multi-lente [25]. tecnología Multi-lente, la creación de bandas óptico [2], un código de escala de grises [23] y el desplazamiento sinusoidal de fase [3] a la forma estimada de la proyección por una pluralidad de patrones en rápida sucesión. Estas técnicas pueden ser restauradas con alta precisión mediante el cálculo de la profundidad de una simple descodificación de algoritmo, pero requiere un aparato de proyección complicado (por ejemplo, la pantalla LCD, la DMD), cuyo dispositivo dinámicamente puede cambiar el modo de proyección, de manera que no son adecuados para escenas dinámicas de baja complejidad y equipo tales como teléfonos móviles. técnica de un solo disparo de un patrón se proyecta solamente, depende de la intensidad [32], color [8, 13], o un código de proyector correspondiente a un vecindario local [9, 20, 14]. La tecnología es ideal para escenario dinámico de modo único, sin embargo, estas técnicas suelen utilizar complejidad computacional decodificación algoritmo, es necesario lograr un rendimiento en tiempo real de hardware dedicado. Algunos de lente única que tiene un método de decodificación relativamente simple (por ejemplo, la transformada de Fourier perfilometría ( el FTP) [30]), pero hizo una fuerte textura supuestos y la profundidad de la escena.
Real System SL:
Algunos métodos pueden ser utilizados para realizar de alta velocidad ( 1000 FPS) SL, o el uso de cámara de alta velocidad costoso no puede ser portado al conjunto móvil [12], o un método basado en el aprendizaje utilizado recientemente, tales como ultra-profundidad [24] y UltraTereo [7]. Con suficientes datos, y Kinect [1] y otro hardware especial, estos métodos han demostrado ser rápido y preciso.
Nuestro objetivo diferente
Nuestro objetivo es desarrollar un simple, forma analítica, cerrado procedimiento de descodificación utilizando convencional ecuaciones diferenciales SL ecuación en un pequeño limitaciones de línea de base. Una línea de investigación futura interesante es el uso de técnicas basadas en datos para mejorar MSL, potencialmente para mejorar aún más la precisión y la velocidad.
3. Preliminares luz estructurada
Lo primero que describen la formación de imágenes del sistema modelo SL para entender el papel de la luz estructurada proyectada en el sistema de cámaras de línea de base. Imagen Modelo de formación. Considere la figura 1 (. B) se muestra en el proyector - par cámara. Asumimos un proyector configuración rectangular o una cámara, en la que la cámara y el movimiento horizontal del proyector centrales unidades B. Suponemos además que el proyector y la cámara tienen la misma resolución espacial y la distancia focal f. Estos supuestos son meramente para facilitar la ilustración, y técnicas de análisis para proporcionar una configuración general del sistema y los parámetros son válidos.
En la siguiente sección, se diseñó una técnica requiere un patrón de proyección (pero dos imágenes son capturadas), pero menor coste computacional, puede ser implementado de manera eficiente en sistemas de potencia limitada. Además, aunque el convencional sistema de SL línea de base tan grande como sea posible, pero las técnicas propuestas están diseñados para pequeño tamaño del dispositivo, el dispositivo permite sólo una pequeña (micro) entre el proyector y la línea de base de la cámara.
4. Micro-línea de base estructurada Luz
Relaciones con el método diferencial
El método del análisis y diferencial anteriormente diseñado recientemente para estéreo fotométrico [5] y el campo de luz de estimación de movimiento basado [18] son similares. Estos métodos también son problema no lineal original, lineal difícil de resolver, las soluciones resultantes se analizaron y fácil de manejar. En el mismo espíritu, MSL puede ser visto como una versión diferencial de la sociedad.
Relación con el flujo de luz
En particular, la matriz MSL como estructura tensor LucasKanade rastreador [16] en. En el contexto de la disparidad estereoscópica similares de flujo lineal / óptico y un 2 × matriz formada 2 se ha explorado [6, 21]. tensor Estructura y una matriz es una diferencia clave MSL matriz MSL depende sólo de la modo de proyección de su derivado. Por lo tanto, MSL reversibilidad Matriz dependiendo de la naturaleza del modo de proyección pueden ser analizadas, pero no puede ser analizada de acuerdo con el escenario.
5. invertibilidad de MSL Matrix
Esta proposición observó que un patrón no es función constante o exponencial por proyección, en teoría, asegurar ecuación MSL tiene una solución. A continuación, se discute la estabilidad de la solución, que es una consideración importante en la presencia de ruido. Por lo tanto, cuando el modo de proyección es un periódico ecuación solución MSL es estable. ciclo modo puede no estar alineado con la ventana de análisis. Sin embargo, en la práctica, como hemos demostrado en experimentos sobre el sesgo de estimación de profundidad pequeña es robusto.
6. Manipulación textura Edge
Con el fin de mantener la simplicidad de cálculo, se supone que el albedo simplemente guiar versión a escala de la imagen. La figura 2 se calcula mediante una descripción en profundidad de alta textura del objeto de guiar la norma con respecto a MSL ventaja de la MSL. El piloto MSL basado grandemente mejorada precisión de la profundidad MSL recuperación, de arriba casi no computacional, y por lo tanto amplía el alcance del método propuesto. Desde entonces, todos nuestros resultados están utilizando una bota método de cálculo de MSL.
7. Consideraciones prácticas para MSL
Fig . 3 ( B) ilustra la precisión de algún período patrón representativo como una función de la línea de base. Obviamente, el error mínimo correspondiente al período de línea de base aumenta a medida que aumenta.
Pequeña línea de base establecida para asegurar que una aproximación de primer orden, pero sufrió de error de triangulación [31]. Por otro lado, gran necesidad de línea de base una ventana grande, supuesto invariante de manera local no puede sostener. La Fig. 4 muestra la precisión de la simulación como una función de la línea de base. Para este análisis, dada la línea de base, hemos elegido para lograr la mejor precisión de la línea de base ciclo de modelo. Hemos observado, el MSL en un conjunto diferente de los ejemplos siempre lograr la máxima precisión entre 8-30mm. En la práctica, la elección exacta de los parámetros depende de varios factores adicionales, como permitir la resolución, la cámara y el proyector proyector de desenfoque. Encontramos la línea de base de 15 mm resultó en los resultados más precisos, nuestros prototipos de laboratorio consistentes con esta línea de base (ver Figura 6).
¿En qué tipo de restricciones de equipo, MSL que la existente tecnología de SL más apropiado? El objetivo es dar forma a MSL, plataformas de hardware de baja complejidad y han limitado los recursos informáticos, y por lo tanto no debe considerarse una alternativa al hardware común que van convencional. Por ejemplo, si un sistema es capaz de proyectar una pluralidad de patrones, el desplazamiento de fase [3] puede funcionar con precisión incluso en la base estrecha, como se muestra en la Fig. Del mismo modo, si un sistema tiene suficientes recursos computacionales y / o gran línea de base, la técnica convencional de una sola [20, 8, 33, 1, 7, 24] se puede lograr que la exactitud MSL superior.
Por otra parte, si el sistema está equipado con dos cámaras, se puede confiar en la tecnología de reconocimiento de música precisa [17] a una relación correspondiente, a pesar de los altos requerimientos computacionales. Sin embargo, cuando un pequeño volumen del dispositivo en cuestión, cuando el hardware limitado y potencia de cálculo, las promesas MSL para proporcionar una solución de peso ligero. La figura 5 ilustra, el MSL es menor que un más preciso de correspondencia de bloques 100 mm de línea de base, mientras más rápido. Aunque el número específico depende de la configuración específica, pero la línea de base es pequeño y sólo un único patrón cuando se proyecta, el MSL es adecuado.
8. experimentos
Configuración del hardware
Nuestro aparato incluye unos 1280 × proyectores (DLP 720. AAXA Technologies), F = 8 mm y una de 2048 × cámara de visión artificial 1536 ( Basler acA2040120uc), H = 12 mm. Diferentes longitudes focales conducen al proyector y el tamaño en píxeles del tamaño de la imagen imagen de la cámara es de 2,5 veces. Cámara colocada encima de la proyector, el nivel de línea de base de 15 mm, como se muestra en la Fig. El sistema también tiene una base en la dirección vertical, que es debido a las restricciones mecánicas inevitables. Sin embargo, desde que nos proponemos vertical de un diseño simétrico, y por lo tanto sólo se considera la diferencia entre el nivel basal; diferencia de nivel de línea de base vertical no afecta al cálculo.
Datos básicos
Utilizamos cinco fase de la frecuencia de desplazamiento de marco capturar información de profundidad realidad del terreno correspondiente a 1280 px, 100px, 50px, 20 píxeles y el periodo de patrón de 10px. Se utiliza para ampliar la fase de baja frecuencia, lo que hace que la precisión de la estimación de la disparidad de subpíxeles se hace posible.
Comparación de correr tiempo en el teléfono
Para evaluar el tiempo real, a través de una proyección que encontramos 800mm modo de punto dom, el MSL con un algoritmo de coincidencia de bloques que tiene una línea de base micro estéreo se compararon. Los resultados se muestran en la Fig. Tenga en cuenta que el modo de proyección y una estrategia de decodificación no está optimizado para la línea de base estrecha, estamos aquí para centrarse en es más complicada tiempo y no de precisión. La FIG . 5 ( B) muestra los dispositivos Android con convencional (por ejemplo, el uso de correspondencia de bloques y búsqueda de diferente resolución de imagen basado en el funcionamiento de la googlepixel2xl superior método semiglobal (OpenCV [4] implementado comparación entre SGBM)). Y el bloque de coincidencia de semi-mundial coincidente en tiempo de ejecución 3MP imágenes son 133ms y 1s. Por el contrario, MSL a la velocidad de 27 ms en mucho más rápido, lo que sugiere que MSL es adecuado para las plataformas móviles.
secuencias de vídeo
Luz Una tecnología ventaja SL es la capacidad de calcular la profundidad de la velocidad de vídeo. Para verificar esto, que por segundo secuencia capturada de imágenes a 30 fotogramas, la tasa de vídeo de imágenes en 3D. cuadros alternos son capturados, no hay ningún patrón de imagen para la orientación. El sistema de velocidad de salida 15fps de vídeo, y una profundidad de no el modo de vídeo, sin calcular (sin ningún modo - separación de escena), se utiliza generalmente en la realidad. La figura que muestra una profundidad de tres cuadros representante 8. Tenga en cuenta que la profundidad de los cambios son claramente visibles en una variedad de gestos. Más importante aún, el cálculo utilizado para estimar la profundidad de la cabeza es muy pequeña, puede ser de salida en tiempo real, lo que hace que el MSL convertido en un convincentes sistemas de tecnología móvil.
evaluación experimental
La figura 9 muestra una textura diferente y complejidad geométrica de la escena basada en varios MSL el resultado de recuperación 3D. Todos los experimentos fueron capturados por un patrón de triángulo a diferentes períodos, que muestra los diversos escenarios que pueden usarse MSL. La primera fila muestra los resultados con diversos textura objeto plano complejidad. Maniquí escena demuestra la escena textura no plana limitada MSL. Nota cómo el modelo tridimensional de la frente y las mejillas gráfico. Finalmente, BAS terreno mostrar sonda precisión del alcance, pero la complejidad espacial de alta pequeña. Al mostrar los gráficos calculada período 6px bas mapa de profundidad del terreno obtener una mayor resolución espacial. Nótese que en el modelo 3D reconstruir con precisión la cámara muslo. En todos los casos, el error de profundidad es menor que 8 mm.
fracasos
Dado que el MSL es una técnica de estimación de ventanas local, la profundidad de la profundidad cantos así calculado se alisa, dando como resultado la adhesión a la frontera del objeto (véase la figura escena plano 9). Alto rendimiento objetos de textura y la geometría compleja (por ejemplo, estructura fina) resultará en violación de la hipótesis de una constante reducción parcial. En segundo lugar, la orientación MSL asumió albedo ventana se escala versión de la imagen bajo luz ambiental. Si la iluminación ambiental, un proyector o de iluminación o superficie reflectante espectro normal varían ampliamente, lo que resulta en artefactos, esta suposición no se sostiene. En tercer lugar, el MSL depende de la intensidad de la precisión subpíxel - disparidad, pero es susceptible a la iluminación indirecta, no pueden trabajar bien en cada reflexión o dispersión del subsuelo (véase la Fig. 10).
9. Discusión
Proponemos una nueva tecnología de SL, se puede estrechar la línea de base, simple, de bajo costo de hardware para funcionar bajo las restricciones y baja potencia de cálculo. Por la proyección de la cámara correspondiente a la ecuación lineal, se demuestra el uso de parcial método de mínimos cuadrados puede ser estimación de profundidad eficaz. Proporciona una guía teórica y práctica para el diseño del patrón de proyección. cálculo de la profundidad MSL se puede realizar con hardware limitada, lo que es una distancia de formación de imágenes ideal, en el teléfono, vehículos aéreos no tripulados, robot micro y un endoscopio.