Principio de visión binocular
- Autor: YapethSDY
- Fecha: 2020/09/11
La medición 3D de visión estéreo binocular se basa en el principio de paralaje
El sensor de visión 3D utiliza cámaras binoculares. La visión binocular se basa en el principio de paralaje y utiliza equipos de imágenes para obtener dos imágenes del objeto medido desde diferentes posiciones, y calcula la desviación de posición entre los pares de imágenes para obtener la información geométrica tridimensional del objeto. .
Configuración del entorno: ventana 7 x64 + Vs2010 + Halcon18.05 + cámara Bumblebee XB3
-
Principio de paralaje
Tome las siguientes dos imágenes reales como ejemplo, defina dos puntos AB en las dos imágenes respectivamente (debido a que las imágenes no son fáciles de manejar, puede personalizarlas ya que A es la esquina superior izquierda de la boca de incendios y B es la esquina superior de la silla. Los puntos seleccionados deben estar en dos Encontrado en la imagen presentada por la cámara), encuentre los dos puntos correspondientes a AB en las cámaras izquierda y derecha. Hey, usemos la segunda imagen
Como puede ver en la imagen de arriba, encontrará que la distancia horizontal del punto A en la imagen de la izquierda es mayor que la distancia horizontal desde el punto correspondiente en la imagen de la derecha hasta el borde de la imagen. La diferencia absoluta entre las dos distancias se define como el paralaje, y podemos determinar el punto en función de esta distancia La distancia entre A y la cámara. Al mismo tiempo, se puede ver en la figura que la distancia desde la parte superior de la imagen hasta la característica coincidente es exactamente la misma, debido a que las cámaras están dispuestas horizontalmente, con solo desplazamiento horizontal a la vez.
Entonces, la paralaje del punto A se define como D (A) = x (Aleft) -x (Derecha), y la paralaje del punto B es D (B) = x (Bleft) -x (Bright), donde D (A) <D (B), que muestra que el punto A está más lejos de la cámara que el punto B en esta escena.
El modelo de visión estéreo binocular es un modelo geométrico paralelo ideal después de la corrección epipolar. En el par de imágenes estéreo binocular, y
son los centros de recolección óptica de las cámaras izquierda y derecha respectivamente,
y
la distancia entre y es la longitud de la línea de base (indicada por B), ahora apunte la línea de base de la cámara Bumblebee gris seleccionada de 24 cm, dos cámaras con la misma distancia focal después de la corrección
representaron un punto en el espacio tridimensional
alrededor del plano de la imagen de la proyección, respectivamente
, y
los dos puntos correspondientes en la
dirección del paralaje es el paralaje horizontal ,
El paralaje en la dirección es paralaje vertical. Después del análisis de corrección estéreo, se encuentra que las coordenadas de punto correspondientes de la imagen después de la corrección de la línea polar solo
tienen paralaje horizontal en la
dirección , y el paralaje vertical en la dirección es 0, por lo que
el paralaje del punto en el modelo binocular paralelo es
, Representa la diferencia en la posición del punto espacial P en el centro de la imagen binocular. Según la relación geométrica de la imagen binocular paralela, suponga que la distancia desde el punto espacial
a la línea recta
es z, y el plano de imagen del punto espacial P es una línea vertical
,
y el pie vertical es , y
Es perpendicular a los planos de imagen izquierdo y derecho, y los pies verticales son la
suma
Entonces
, el principio de triángulos semejantes puede obtener la siguiente ecuación. (La fórmula es demasiado extenuante o debería calcularla a mano)
-
Proceso de medición de visión estéreo
- Adquisición de imágen
- Adquisición móvil de una sola cámara
- Obtenido por dos cámaras (son posibles diferentes relaciones posicionales, específicamente se pueden dividir en la misma línea, el mismo plano, distribución tridimensional, etc.)
- La cámara BB2 / 3 utiliza dos cámaras fijadas en el mismo plano horizontal para construir un modelo.
- Calibración de la cámara
- Determine la correspondencia entre un punto del objeto en el sistema de coordenadas espaciales y su punto de imagen en el plano de la imagen.
- Parámetros internos: geometría interna y parámetros ópticos de la cámara
- Parámetros externos: conversión entre el sistema de coordenadas de la cámara y el sistema de coordenadas mundial
- La cámara BB2 ha sido calibrada antes de salir de fábrica.
- Preprocesamiento de imágenes y extracción de características
- Preprocesamiento: incluye principalmente mejora de contraste de imagen, eliminación de ruido aleatorio, filtrado y mejora de imagen, procesamiento de color falso, etc .;
- Extracción de características: las características de coincidencia de uso común son principalmente características puntuales, características lineales y características regionales, etc.
- Coincidencia estéreo
- Según el cálculo de las características seleccionadas, se establece la relación correspondiente entre las características, y se corresponden los puntos de imagen del mismo punto físico en diferentes imágenes.
- La coincidencia estéreo consta de tres pasos básicos: 1) Seleccione la característica de imagen correspondiente a la estructura física real de una imagen en el par de imágenes estéreo como se muestra en la imagen de la izquierda; 2) Determine la misma estructura física en la otra imagen como se muestra en la imagen de la derecha Las características de imagen correspondientes de; 3) Determine la posición relativa entre estas dos características para obtener el paralaje. El paso 2 es la clave para hacer coincidir.
- Determinación de profundidad
Después de obtener la imagen de disparidad a través de la coincidencia estéreo, se puede determinar la imagen de profundidad y se puede restaurar la información de la escena en 3D.
-
Flujo de datos en la biblioteca de desarrollo de Triclops
El sistema primero obtiene la imagen en formato sin procesar del modelo de la cámara y finalmente la procesa en una imagen de profundidad. Hay dos módulos de procesamiento principales en el sistema. El primer módulo de procesamiento es un módulo de preprocesamiento que aplica filtrado de paso bajo, corrección de imagen y detección de bordes. El segundo módulo de procesamiento se utiliza para la coincidencia estéreo, la confirmación de resultados y la interpolación de subpíxeles. El resultado final del procesamiento es una imagen de profundidad.
- Proceso de pretratamiento
El proceso de preprocesamiento que entiendo es simplemente hacer un procesamiento de gráficos digitales en la imagen , para corregir una imagen, es muy importante suavizarla de antemano. Por tanto, si desea corregir una imagen, es una buena forma de activar el filtro de paso bajo de antemano. Por supuesto, la imagen también se puede corregir sin utilizar un filtro de paso bajo, pero la imagen corregida puede confundirse. Si desea aumentar la velocidad de procesamiento, puede desactivar el filtro de paso bajo. El siguiente código es un filtro de paso bajo simple para filtrado de medios
mean_image(Rectangle1,ImageMean, 9, 9)https://blog.csdn.net/zhoufan900428/article/details/12884981
Este blog, el gran dios, explica con claridad algunos filtros, puedes prestarle atención si lo necesitas
- Corrección
La corrección se utiliza para corregir la distorsión producida por la lente. La distorsión causada por la lente se puede ver en la imagen original. Por ejemplo, una línea recta en la escena se convertirá en una curva en la imagen original y este efecto es particularmente obvio en las esquinas de la imagen. La corrección es corregir este tipo de distorsión. Además, si no hay una corrección correcta, la búsqueda de características a lo largo de las filas o columnas puede producir resultados incorrectos.
- Detección de bordes
La detección de bordes es una característica opcional que usa cambios en el brillo para igualar las características. Esta función es muy útil cuando la cámara del sistema tiene una función de ganancia automática. Si los cambios de ganancia automáticos de cada cámara son inconsistentes, entonces el brillo absoluto entre las imágenes es inconsistente, y aunque el brillo absoluto es inconsistente, el cambio de brillo es constante. Por lo tanto, la detección de bordes es adecuada para entornos con grandes cambios de iluminación. Si bien la detección de bordes puede mejorar los resultados de las pruebas, pero esto es equivalente a otro, introduce pasos de procesamiento adicionales, por lo que para mejorar la situación y sopesar los resultados de la relación de velocidad entre el grado de uso de esta función. Tenga en cuenta que la función de confirmación solo es válida en el modo de detección de bordes. La siguiente figura muestra el efecto de la detección de bordes.
- Establecimiento de correlación de coincidencia estéreo
Usar cálculo de correlación de varianza absoluta
Es el paralaje mínimo máximo
Es el tamaño de la plantilla
Es la imagen izquierda y derecha
Puede leer los blogs anteriores sobre calibración.
Dile adiós con alegría, ¡ya llegó el fin de semana! ¡final feliz!