[Stereo Vision (4)] Corrección epipolar y visión binocular

Esta es una nota de estudio personal. Tomé prestadas muchas buenas imágenes y artículos (las referencias se encuentran al final del artículo), principalmente para ordenar el conocimiento relevante a fin de formar mi propio sistema. La expresión del texto se ensambla y la fórmula simbólica se ingresa manualmente. Indique si hay algún error.

1. Corrección polar

En el estudio previo de geometría epipolar y restricciones epipolares, a través de las restricciones epipolares, se puede saber que para un punto de píxel ${pag}_{}$, podemos calcular p 1 p_1 en la vista derecha${pag}_{}$Mismo nombre punto ${pag}_{}$La línea epipolar donde ${yo}_{}$. Esto determina para nosotros ${pag}_{}$Las coordenadas reducen en gran medida el espacio de búsqueda.Si para cada píxel que se empareja en la vista izquierda, se calcula la línea epipolar correspondiente, cuando hay muchos píxeles que se emparejan, es concebible que la cantidad de cálculo sea muy grande.

Se puede encontrar por observación: línea epipolar ${yo}_{}$y línea epipolar ${yo}_{}$(Se le puede llamar línea epipolar ${yo}_{}$y línea epipolar ${yo}_{}$es un par de líneas polares) están en el mismo plano polar, es decir, las líneas polares ${yo}_{}$y línea epipolar ${yo}_{}$Todos los píxeles satisfacen la misma fórmula de restricción epipolar. Cuando el plano polar está alrededor de la línea base $O_{}{O}_{}$Cuando se gira, la línea epipolar resultante puede cubrir todos los píxeles de la vista.

Si los píxeles de la línea polar están reorganizados y los píxeles de la misma línea polar están dispuestos en la misma fila, entonces podemos usar el número de fila para determinar los píxeles del mismo par de líneas polares. punto p 1 ${pag}_{}$El punto homónimo ${pag}_{}$Debe estar en la fila de píxeles con el mismo número de fila, solo tienen una diferencia en las coordenadas de columna, llamada parallax ( $d=cola(pag\_{}_{})-cola(pag\_{}_{})$ )。

Esto es lo que hace la corrección epipolar, y una explicación más profesional: la corrección epipolar consiste en corregir la estructura geométrica estereoscópica binocular a la estructura geométrica estándar binocular frontal a través de una serie de transformaciones, es decir, los planos de imagen de las cámaras izquierda y derecha están en el mismo plano y están alineados verticalmente.

1) Método de corrección de Fusiello

La corrección epipolar hace que la coincidencia densa sea mucho más fácil. Los métodos de corrección epipolar se pueden dividir en corrección no escalada y corrección escalada. La corrección sin escala significa que
la corrección se puede realizar sin parámetros internos y externos de calibración de la cámara, como el algoritmo Hartley, y la corrección de calibración utiliza parámetros internos y externos de la cámara obtenidos previamente para completar la corrección, como el método Fusiello y el método Bouguet. Aquí primero aprenda el método de corrección de Fusiello que es simple y fácil de entender e implementar .

La corrección epipolar consiste en corregir la geometría de visión estéreo binocular a la geometría estándar binocular de cabeza arriba a través de una serie de transformaciones (girar la cámara y redefinir el plano de la imagen). La esencia es redefinir la matriz de proyección $METRO=K[R|t]=K[R|--RO]$ , donde las matrices$K,R,O$ representan la matriz de referencia interna de la cámara, la matriz de rotación y las coordenadas del centro óptico de la cámara, respectivamente.

El método de corrección de Fusiello redefine la matriz de rotación $R_{}$, de modo que el nuevo plano de la imagen sea paralelo a la línea base de la cámara. ② Redefine el parámetro interno del plano de la imagen $k_{}$, para que las cámaras duales tengan los mismos parámetros internos, asegurando que los planos de imagen izquierdo y derecho sean coplanares. (aquí el subíndice " n _nn"Tome el significado de "nuevo", el mismo a continuación.)

Como se muestra en la figura anterior, el sistema de coordenadas de la imagen $eje\; u$ y línea base$O_{}{O}_{}$Paralelamente, la distancia focal ff correspondiente a las imágenes izquierda y derecha$f$ es igual a las coordenadas del punto principal.

1. Cálculo de la matriz de transformación

1) Calcular la matriz de rotación $R_{}$

La esencia de rotar la cámara para que los planos de imagen izquierdo y derecho sean paralelos entre sí y la línea base de la cámara es redefinir el sistema de coordenadas de la cámara. El nuevo sistema de coordenadas definido por el método Fusiello es el siguiente:

(1) Para garantizar que el plano de la imagen sea paralelo a la línea base de la cámara, el eje X del nuevo sistema de coordenadas de la cámara debe ser paralelo a la línea base, es decir, $El\; vector\; base\; del\; eje\; X$ es el siguiente:
$$r_{}=(O_{}-O_{})/{||O}_{}-O_{}||$$
(2) Para mantener el rango de imagen corregido lo más consistente posible con el rango de imagen original, el eje Y del nuevo sistema de coordenadas de la cámara adopta elYYLa dirección cercana al$eje\; Y$$El\; vector\; base\; del\; eje\; Y$ es el siguiente:
$$r_{}=R_{}\times r_{}$$

$R_{}$ZZ que representa el sistema de coordenadas de la cámara lejanaeje$Z.$
(3) El eje Z del nuevo sistema de coordenadas de la cámara y$X$ 轴、$El$ eje Y es ortogonal, es decir,$El\; vector\; base\; del\; eje\; Z$ es el siguiente:
$$r_{}=r_{}\times r_{}$$
(4) Obtenga la matriz de rotación final $R_{}$：

$$R_{}=\left[\begin{array}{c}{r}_X^{}\\ r_y^{}\\ r_z^{}\end{array}\right]$$

2) Calcular la matriz de referencia interna $k_{}$

Después de obtener la matriz de rotación, los planos de imagen izquierdo y derecho se pueden girar en consecuencia. Los planos de imagen girados son paralelos entre sí y la línea de base, pero la diferencia en la distancia focal de la cámara hará que los dos planos sean no coplanar Por lo tanto, es necesario unificar los parámetros de la cámara, es decir, unificar el cálculo La nueva matriz de parámetros internos $k_{}$. Para garantizar que la nueva matriz de referencia interna sea lo más consistente posible con la matriz de referencia interna original, la nueva matriz de referencia interna utiliza el número promedio de la matriz de referencia interna original de las imágenes izquierda y derecha, y establece el factor de inclinación a 0, a saber:

$$k_{}=(K_{}+k_{})/2$$
calculará el$R_{}$y $k_{}$Combinando para obtener la nueva matriz de proyección después de la corrección de la línea epipolar:
$${METRO}_{}=k_{}[R_{}|-R_{}O]$$

3) Calcular la matriz de transformación $T$

El siguiente paso es el proceso de corrección, utilizando la matriz de transformación $T$ para expresar la relación de transformación entre las coordenadas de píxeles de la imagen de un determinado píxel antes y después de la corrección epipolar, que se puede calcular de acuerdo con la matriz de proyección$M$ y${METRO}_{}$Calculado, el método específico es el siguiente: Suponiendo un punto PP
en el espacio$P$ , la expresión de este punto bajo las matrices de proyección nueva y antigua es:
{ λ p = MP = [ Q ∣ − QO ] P λ npn = M n P = [ Q n ∣ − Q n O ] PQ = KPQ n = K n R n \begin{casos} \lambda p=MP=[Q|-QO]P\\ \lambda_n p_n=M_nP=[Q_n|-Q_nO]P \\ Q=KP\\ Q_n=K_nR_n \\ \ fin {casos}⎩ ⎨ ⎧pag_ _=parlamentario=[ Q ∣−QO ] Pyonpagn=METROnPAG=[ Pn∣−qnO ] Pq=kp _qn=knRn​

Entre ellos, $P$ representa el puntoPPExpresión coordinada homogénea de$P$${pag}_{}$y $p$ representa el punto$P$ se proyecta en las coordenadas homogéneas bajo los planos de imagen antiguo y nuevo. Dado que esta ecuación es una ecuación homogénea, el coeficiente$\lambda$ y λ${yo}_{}$Ambos se establecen en 1, y la fórmula anterior se puede expandir para obtener:
$$\{\begin{array}{l}pag=q(pag-O)\\ {pag}_{}=q_{}(PAG-O\end{array}$$
Según las coordenadas de la imagen antigua $p$ y la matriz de transformación$T$ calcula las coordenadas de la nueva imagen${pag}_{}$La fórmula para es: ${pag}_{}=Tp$，即$q_{}(PAG-O)=TQ(P-O)$ , por lo que se puede obtener$T$：
$$T=q_{}{q}^{-1}$$
La matriz de transformación representa la relación de transformación entre el mismo píxel antes y después de la corrección epipolar.De acuerdo con las coordenadas de píxel de la imagen y la matriz de transformación de un determinado píxel en la imagen original, se puede calcular y obtener su píxel de imagen correspondiente en la imagen epipolar$${}^{.}$$
Para dos cámaras, las respectivas matrices de transformación$T_{}、T_{}$。

2. Generación de imágenes epipolares

Calcular la matriz de conversión $Después\; de\; T$ , se puede obtener un cierto punto de píxelppLa relación de coordenadas de la imagen antes y después$de\; la\; corrección\; de\; la\; línea\; epipolar\; p$
$$pag\_\_=yo\left[\begin{array}{c}X\\ y\\ \end{array}\right]=T^{-1}\left[\begin{array}{c}{X}_{}\\ y_{}\\ \end{array}\right]=T^{-1}{pag}_{}$$

Los pasos específicos para generar la imagen epipolar final son los siguientes: primero cree una nueva imagen, el tamaño de la imagen es consistente con la imagen original, atraviese cada píxel en la nueva imagen, calcule sus coordenadas de píxel correspondientes en la imagen original de acuerdo con lo anterior fórmula y use el valor de gris del píxel para asignarlo. Dado que las coordenadas no son necesariamente números enteros, se requiere la interpolación en escala de grises (interpolación bilineal de uso común). Si la imagen es una imagen multibanda (canal), basta con interpolar cada banda (canal) por separado.

2. Visión binocular

He aquí una breve introducción a la visión binocular. La visión binocular es un método para simular el principio de la visión humana y usar una computadora para percibir pasivamente la distancia. Observe un objeto desde dos o más puntos, obtenga imágenes bajo diferentes ángulos de visión y calcule el desplazamiento entre píxeles de acuerdo con la relación de coincidencia entre los píxeles de las imágenes para obtener la información tridimensional del objeto.

Los pasos para usar la visión binocular (cámara) para la reconstrucción 3D (profundidad estimada) son los siguientes:

1. doble gol
2. calibración binocular
3. emparejamiento binocular

El propósito de la calibración de doble objetivo es obtener los parámetros internos (longitud focal, centro de la imagen, coeficiente de distorsión, etc.) y los parámetros externos (matriz R (rotación) matriz T (traslación) de las dos cámaras. El contenido relacionado con la calibración tiene Se ha aprendido en el artículo anterior Preste atención a la cámara dual Durante la calibración, los parámetros extrínsecos de una cámara (generalmente la cámara derecha) son relativos a la otra cámara (cámara izquierda).

La corrección binocular es la corrección de la distorsión más la corrección epipolar (la corrección de la distorsión antes de la corrección epipolar).

La coincidencia binocular (coincidencia estéreo) es la parte central de la estimación de profundidad binocular, que consiste en hacer coincidir los puntos correspondientes en las imágenes de la cámara izquierda y derecha para calcular la disparidad. Después de obtener el mapa de disparidad, puede usar los parámetros externos obtenidos por la calibración de la cámara. para convertir el valor de disparidad en el valor de profundidad, a fin de obtener la información de la nube de puntos de la escena de destino para la reconstrucción tridimensional de la escena (esta parte tiene mucho contenido, aprenderá más adelante).

---

Referencias:
[1] Visión estereoscópica: Algoritmos y aplicaciones
[2] Li Shenghao. Investigación y aplicación del método de coincidencia densa semi-global para imágenes basadas en restricciones SURF [D]. Universidad de Minería y Tecnología de China, 2022 [3]
Visión estereoscópica guía de entrada (6): Sí Restricciones de nivel y corrección epipolar del método Fusiello
[4] Rectificación epipolar