Algoritmo SGM de coincidencia estéreo

1. Información general

Después de leer la serie de artículos de Li Bo sobre la parte teórica del algoritmo SGM de coincidencia estéreo, siento que me he beneficiado mucho. Para ordenar las ideas en detalle, lo registraré brevemente.

2. Pasos del algoritmo

2.1 Cálculo de costos de contrapartida

1. Calcula la cadena de bits binarios para cada píxel mediante la transformación del censo . La idea principal es diseñar una ventana de 5*5 o más grande centrada en un determinado píxel y obtener la cadena de bits binarios de cada píxel comparando el tamaño de los valores de píxel. Se parece un poco al método de juicio de esquina FASt en el punto de función ORB y la forma de formación del descriptor BRIEF.
2. Antes de usar el algoritmo de coincidencia estéreo, es necesario usar la corrección estéreo para corregir las imágenes izquierda y derecha, de modo que las líneas epipolares estén en posición horizontal, lo cual es conveniente para la búsqueda de paralaje.
3. Después de la corrección estéreo, la disparidad de las imágenes izquierda y derecha se puede expresar como d=xl-xr. Dado que los puntos vistos a la izquierda generalmente están a la derecha, y los puntos correspondientes vistos a la derecha generalmente están a la izquierda, d>0, de lo contrario, el rango de visión común es demasiado pequeño, lo que no conduce a la solución de la disparidad. mapa.
4. Suponga que el rango de paralaje D de cierto punto en la imagen de la izquierda está entre el paralaje mínimo (0) y el paralaje máximo (64). Para cada valor de disparidad, a través de las cadenas de bits binarios de los puntos correspondientes en las imágenes izquierda y derecha, se calcula la distancia de Hamming (es decir, el número de bits diferentes en las cadenas de bits) como la pérdida de coincidencia del valor de disparidad.
5. Una vez que se completan todos los cálculos, se obtiene una matriz de costo de pérdida de ancho de imagen W × altura de imagen H × rango de disparidad D, que se utiliza para la agregación de costos posterior. Aquí tomamos prestada una imagen del texto original para mostrar el cálculo de la distancia de Hamming:
   

2.2 Agregación de costos

1. En una imagen, la disparidad de un punto no solo está relacionada con su correspondiente punto coincidente, sino también con los píxeles que lo rodean. Por lo tanto, para asegurar la corrección y continuidad del valor de la disparidad, la disparidad se optimiza mediante la agregación de costos de acuerdo con el valor del costo anterior .
2. El costo de agregación de un determinado píxel se calcula principalmente por la suma de los costos en todas las direcciones. Generalmente, la agregación de 4 campos se puede usar para lograr un mejor efecto de optimización de paralaje, incluidas cuatro direcciones de arriba, abajo, izquierda y derecha.
3. Para el valor de costo de cada dirección, se puede calcular mediante la siguiente fórmula (tomada de la agregación de costos
   
   ): en la fórmula, p representa el píxel, r representa la ruta y, en el caso de las rutas izquierda y derecha, p− r es el lado izquierdo de p (agregación de izquierda a derecha) o píxeles adyacentes en el lado derecho (agregación de derecha a izquierda), sus números de fila son iguales y los números de columna difieren en 1. L es el valor del costo agregado y C es el valor del costo inicial.

2.3 Cálculo y optimización de disparidades

1. El valor de costo coincidente de cada valor de disparidad se calcula para cada píxel cuando la disparidad está entre la disparidad mínima (0) y la disparidad máxima (64), entonces el valor de disparidad específico es el valor de disparidad correspondiente al valor de costo mínimo.
2. Después de completar el cálculo de la disparidad, es necesario optimizar la disparidad , incluyendo:
   (1) verificación de consistencia izquierda-derecha : es decir, a través del mapa de disparidad de la imagen de la izquierda, se obtiene el mapa de disparidad de la imagen de la derecha. punto coincidente en el mapa de disparidad, si está en la imagen de la izquierda El valor de disparidad de y el valor de disparidad en la imagen de la derecha son inferiores a 1 píxel, entonces el cálculo de disparidad es correcto; de lo contrario, elimine el valor de disparidad correspondiente al punto modificado.
   (2) Detección de unicidad : se refiere a calcular el valor del costo mínimo y el segundo costo mínimo para cada píxel, si la diferencia relativa entre los dos es menor a un cierto umbral, se eliminará.
   (3) Eliminación de áreas conectadas pequeñas : se refiere a la eliminación de áreas conectadas pequeñas en el mapa de disparidad, y la diferencia entre la disparidad en la misma área conectada y la disparidad en el vecindario es menor que el umbral establecido (generalmente 1).
   (4) Mejora de la precisión del paralaje : mediante la interpolación cuadrática, el ajuste de la curva cuadrática se realiza sobre el valor de costo del paralaje óptimo y los valores de costo de los dos paralajes delantero y trasero, y el valor de paralaje correspondiente al punto extremo de la curva es el nuevo valor de disparidad de subpíxeles de .
   (5) Filtrado mediano : filtra el mapa de disparidad.

3 resumen

Consulte el blog de la serie de coincidencia tridimensional de Li Bo:
[Hengdao Lima] [Teoría Hengdao] [Serie de coincidencia estereoscópica] SGM clásico: (2) Transformación del censo del cálculo de costos de coincidencia [
Hengdao Lima] [Teoría Hengdao] Serie [Coincidencia estereoscópica]] SGM clásico: (3) Agregación de costos
[Hengdao Lima] [Teoría Hengdao] [Serie de coincidencia estéreo] SGM clásico: (4) Cálculo de paralaje, Optimización de paralaje