La calibración de la visión binocular estereoscópica (usando la geometría epipolar se calcula matriz eigen y la matriz de base)

En este artículo voy a decirle cómo tomar ventaja de la posición relativa de extrema matriz geométrica calculada E intrínseca y matriz fundamental F, para llegar a la cámara

1. triangulación
   1. Suponiendo un conjunto no distorsionada, alineados perfectamente buena banco estándar estereoscópica medido, como se muestra a continuación:
      
      plano de la imagen de dos cámaras totalmente coplanarias entre sí, perfectamente paralelo con el eje óptico (eje óptico desde el centro de proyección O, un rayo principal por el punto c, también conocido como el "haz principal"), que son una distancia conocida, que es igual a la longitud focal, y suponiendo que el punto principal c _X ^izquierda y c _X ^derecho ha sido calibrado, la misma imagen de la derecha e izquierda las coordenadas del pixel.
   2. Supongamos también que hay dos imágenes están alineadas en filas, y un píxel con otras cámaras perfectamente alineadas, llamamos a la cámara frontal dispuesta en paralelo a, en el mundo físico punto P en los puntos de imagen izquierda y derecha de la imagen es P _T y P _{R & lt} , la abscisa corresponde a X _L y X _{R & lt} , triángulos similares se pueden obtener por la fórmula:
      
      de simplificación:
      
      Además profundidad Z obtenido
      por la fórmula anterior se puede ver que la profundidad es inversamente proporcional a la paralaje, paralaje se define simplemente como X = D _L - X _{R ^} , como se muestra a continuación:
      
      como puede verse en la figura, cuando el paralaje está cerca de 0, un ligero cambio en paralaje puede conducir a la gran variación en la profundidad, cuando el paralaje es grande, apenas provoca una ligera profundidad paralaje gran cambio.
   3. cuadro de la mirada:
      
      En esta figura, el OpenCV estereoscópica en el sistema bidimensional de coordenadas y el sistema tridimensional de coordenadas. Es un sistema de mano derecha de coordenadas, la dirección X que señala el dedo índice derecho, el doblado dedo medio en la dirección Y, el pulgar está apuntando en la dirección del rayo principal. pixeles Imager alrededor del origen en la esquina superior izquierda de la imagen, que se refiere como las coordenadas de píxeles (X _L , Y _L ) y (X _{lt I +} , Y _{R & lt} ). centro de proyección O _L y O _{R & lt} , se cruza con el rayo principal con el plano de la imagen en el punto principal (C _X , C _Y ). Matemáticamente corregido, cuando la alineación cámara de línea, y la distancia T, la misma distancia focal f.
   4. Pero la situación en el mapa demasiado idealista, siguiente diagrama representa la situación real entre las dos cámaras de las matemáticas y quieren lograr la alineación, como se muestra a continuación:
      
      Para la situación anterior, tenemos que encontrar una escena de observaciones de dos cámaras más relación geométrica entre, por lo tanto conduce a una muy geométrico.
2. geometría epipolar
   geometría de la imagen estereoscópica es sustancialmente geometría epipolar. En esencia, la geometría del polo es de dos modelo de agujero de alfiler y un nuevo punto de interés se llama el conjunto de polos. La siguiente voluntad describe el conocimiento relacionado con la geometría epipolar, como se muestra a continuación:
   
   cada una de las cámaras tienen cada uno un centro de proyección separada, respectivamente (O _L y O _{R & lt} ) ,, y el plano de proyección puntos correspondientes en el mundo físico en cada P un punto del plano de proyección de proyección, referido como P _L y P _{R & lt} . El nuevo punto de interés se denomina el polo, un polo como en el plano e _{I & lt} (E o _L se define como otra cámara O) _{R ^} (correspondiente O _L ) de la formación de imágenes de proyección punto central. El punto real y dos polos P E _L y E _{R ^} (o proyección centro O _{R & lt} y O _L plano definido) se denomina una cara polar. Line P _L E _L y P _{R & lt} E _{R & lt} (la conexión entre el punto de proyección y el polo correspondiente) se llama la línea de fuente.
   Cuando se ve en los puntos del mundo físico sobre una derecha (o izquierda) del plano de imagen, los puntos caerán a lo largo de un O _{R & lt} punto P _{R & lt} (o el O _LSeñalando el p- _L en cualquier lugar) en este rayo, porque es sólo por una cámara de vídeo hay manera de saber desde el punto de observación. Más bien, el punto P se supone que la imagen se ve a la derecha, ya que sólo ve la cámara P _{R & lt} , del punto P real puede ser un P _{R & lt} y O _{R & lt} cualquier línea de ubicación. Straight PO _{R & lt} proyectan sobre un plano correspondiente a la otra línea recta P _L E _L , es decir, en un punto de la impresora de imágenes para ver todas las posiciones posibles son una línea recta que pasa por los polos y los puntos correspondientes en otro imager imágenes.
   La cámara estéreo resumir algunos hechos geometría polo:
   1. Cada punto en las vistas tridimensionales de la cámara se incluye en la cara polar, las caras de los polos de las imágenes lineales de cada línea de código fuente se cruza.
   2. Una característica de una imagen dada, que coincide con vista sobre la otra imagen correspondiente a la línea de una manera muy constante. Esta es la "restricción epipolar."
   3. En las mismas limitaciones decir, una vez que sabemos el banco de pruebas en tres dimensiones para después de la geometría del palo entre dos imágenes para que coincida con las características de la búsqueda de dos dimensiones se convierte en búsqueda muy unidimensional a lo largo de la línea. De esta manera no sólo se ahorra una gran cantidad de cálculos, sino que también nos permite descartar un número de puntos de ventaja a las falsas coincidencias.
   4. Pedido está reservado. Si dos puntos A y B son visibles en la cámara de dos imágenes, en el orden en que aparece en el nivel de la impresora de imágenes, a continuación, aparece en la otra es también imager horizontal.
3. matriz intrínseca y la matriz de base
   
   1. Eigen matriz E
      eigen de la matriz E contiene dos cámaras en el espacio físico asociado con la información de rotación y traslación, las coordenadas de posición del mismo punto físico que observarán la cámara izquierda y derecha de la cámara el punto P observado en asociación con

      1. matriz intrínseca Mathematical
         

      2. resumen:

         1. E es una matriz de rango deficiente, es decir, una matriz de 3 * 3 de rango 2, y por lo tanto un número prácticamente infinito de soluciones de la ecuación
         2. Cinco parámetros intrínsecos Matrix - tres parámetros de rotación, el parámetro dos traducción
         3. Dos restricciones:
            a) el valor determinante de 0, debido a que la matriz es rango deficiente
            b) es igual a (descomposición SVD) dos-no cero valores singulares, porque la matriz antisimétrica S, R es una matriz de rotación
         4. E no está incluido en los parámetros de la cámara, por lo que es un enlace físico o una cámara de coordinar las coordenadas del punto que las coordenadas del pixel
   2. matriz fundamental F
      la matriz fundamental F contiene no sólo la información extrínseca E dentro de los parámetros comprende además dos cámaras. Desde el F contenida dentro de estos parámetros, se puede asociar las dos cámaras en las coordenadas de píxeles. A él le gustaría asociar puntos en el plano de unos puntos de imagen de la cámara en el plano de coordenadas y otra cámara en las coordenadas de imagen.
      1. base matemática de la matriz
         
      2. resumen:
         1. Rango es también una matriz fundamental de 2
         2. La matriz fundamental F tiene siete parámetros, los dos parámetros indica un contraelectrodo, dos tres parámetro representa el plano de la imagen homografía

Referencias: Adrian Kaehler, Gary Bradski, aprendizaje Opencv3 [M], Tsinghua University Press, 2018.7

El siguiente es el autor de la micro-canales número público, atención de bienvenida, continuará actualizando C ++, Python, tensorflow, la máquina de aprendizaje, el aprendizaje profundo, la visión artificial y otros artículos, No. pública contiene más de 300 este PDF libros electrónicos, sin duda lo que necesita uno, usted puede recibir la atención pública No. Oh.

Si usted está interesado en los aspectos de JAVA, puede centrarse en el número público siguientes JAVAERS, acompañe a aprender juntos, crecer juntos, compartiendo la poesía y la carretera JAVA distantes entre sí. En la que los números públicos son amigo JAVA de este mundo, el público tendrá artículos técnicos de números todos los días, por la superficie seca, sino también la arquitectura avanzada de libros electrónicos, tales como el combate primavera, SpringBoot práctica, MySQL de alto rendimiento, la comprensión en profundidad de la JVM, combate RabbitMQ , diseño Redis e implementación de una serie de libros de alta calidad y así sucesivamente, que pueden recibir la atención pública No. Oh.