Enlace del artículo: https://arxiv.org/abs/2209.03666
Código: https://github.com/hku-mars/r3live
1. Información general
Hoy me gustaría compartir con ustedes un trabajo de posicionamiento de fusión multisensor:R3live++ . Esta es la segunda versión después de R3live. El marco de fusión visual-inercial lidar propuesto en este trabajo logra una estimación de estado sólida y precisa mientras reconstruye mapas fotométricos en tiempo real.
El sistema consta de un odómetro inercial lidar (LIO) y un odómetro inercial visual (VIO), los cuales funcionan en tiempo real. El subsistema LIO utiliza mediciones de LIDAR para reconstruir la geometría, mientras que el subsistema VIO recupera simultáneamente la información fotométrica de la geometría de la imagen de entrada. La precisión de la localización y el mapeo se mejora aún más al tener en cuenta la calibración fotométrica de la cámara y la estimación en línea del tiempo de exposición de la cámara. Se llevan a cabo experimentos más extensos en conjuntos de datos públicos y privados para comparar el sistema propuesto con otros sistemas SLAM de última generación. Los resultados cuantitativos y cualitativos muestran que R3LIVE++ proporciona mejoras significativas tanto en precisión como en solidez.
Además, para demostrar la escalabilidad de R3LIVE, desarrollamos varias aplicaciones basadas en los mapas reconstruidos, como imágenes de alto rango dinámico (HDR), exploración de entornos virtuales y videojuegos en 3D. El código es de código abierto y el código fuente y los enlaces del artículo se adjuntan al final del artículo.
Para estimar simultáneamente la actitud del sensor y reconstruir el mapa de radiación ambiental, se diseña un marco de fusión de sensor visual-inercial-LiDAR estrechamente acoplado, como se muestra en la Figura 1.
El marco propuesto contiene dos subsistemas: subsistema LIO (parte superior) y subsistema VIO . El subsistema LIO construye la geometría del patrón de radiación registrando las mediciones de la nube de puntos de cada escaneo lidar de entrada. El subsistema VIO recupera la información radiométrica del mapa en dos pasos: la actualización VIO cuadro a cuadro estima el estado del sistema minimizando el error de reproyección PnP cuadro a cuadro, mientras que la actualización VIO cuadro a mapa minimiza el error fotométrico. valor entre el punto del mapa y el error de la imagen actual.
Los dos subsistemas están estrechamente acoplados dentro de un marco de filtro de Kalman iterativo de estado de error múltiple (ESIKF), donde las mediciones de visión de lidar y cámara se fusionan en el mismo estado del sistema en sus respectivos tiempos de recepción de datos.
Nuestro mapa de radiación consta de puntos del mapa en el marco global, y cada punto P está estructurado de la siguiente manera:
Las primeras tres dimensiones representan la posición 3D del punto, y las últimas tres dimensiones se componen de tres canales independientes (es decir, canales rojo, verde y azul), utilizados para la calibración fotométrica de la cámara. Además, registramos otra información necesaria sobre el punto, incluida la covarianza del error estimado del punto y las marcas de tiempo en las que se creó y actualizó el punto.
La cámara observa la radiación del mundo real en forma de imagen, que consta de una matriz 2D de intensidades de píxeles. Modele el proceso de formación de imágenes de la cámara y amplíe aún más el modelo de cámara gris a cámaras en color. Como se muestra en la Figura 2, para un punto P en el mundo, refleja la luz incidente de una fuente de luz (por ejemplo, el sol). Luego, la luz reflejada pasa a través de la lente de la cámara y finalmente llega al sensor CMOS, que registra la intensidad de la luz reflejada y crea un canal de píxeles en la imagen de salida. La intensidad registrada está determinada por el valor radiométrico, que es una medida de la potencia reflejada en el punto P.
Para simular el proceso de obtención de imágenes anterior, la radiancia en P se expresa como r. Dado que el sensor CMOS de una cámara a color tiene tres canales: rojo, verde y azul, para cada canal i la luz que pasa a través de la lente de la cámara tiene energía.
Donde V(p) se denomina factor de viñeteado que explica el efecto de viñeteado de la lente. Dado que el efecto de viñeteado es diferente en diferentes áreas de la lente, el factor de viñeteado V(p) es la cantidad de energía que la ubicación del píxel p puede recibir, llamada irradiancia. Cuando se toma una imagen, la irradiancia capturada O(p) se integra en el tiempo (es decir, el tiempo de exposición r). La irradiancia acumulada se convierte en la salida de intensidad de píxel Ij(p) a través de la función de respuesta de la cámara (CRF):
El tiempo de exposición r se estima online en nuestro trabajo. Resultados de calibración y estimación, la radiancia del punto p derivada del valor de píxel observado I(P) se puede calcular como:
En nuestro trabajo, definimos el estado completo x como:
donde el símbolo Itc es el desplazamiento de tiempo entre la IMU y la cámara, y se supone que el LiDAR está sincronizado con la IMU. Los parámetros extrínsecos de la cámara y el desplazamiento de tiempo tc suelen tener valores aproximados disponibles. Los parámetros externos o retardos de tiempo se incluyen en el estado x para que puedan estimarse en línea. Además, estimamos el tiempo de exposición de la cámara en línea para recuperar el valor de radiancia real de cada punto del mapa.
2. Odómetro inercial de radar (LIO)
El subsistema LIO reconstruye la geometría del entorno registrando cada nuevo escaneo LiDAR en un mapa global. Utilizando el método del punto iterativo más cercano generalizado (GICP), la actitud LIDAR (y otros estados del sistema) se estiman iterativamente minimizando la distancia de cada punto en el escaneo a un plano ajustado desde el punto correspondiente en el mapa. Las estimaciones de estado estimadas se utilizan luego para agregar nuevos puntos al mapa. El residuo lidar punto a plano se puede escribir como:
Idealmente, el residuo debería ser cero. Sin embargo, este residual a menudo es distinto de cero debido a errores de estimación en X y al ruido de medición lidar, y utilizamos ESIKF para refinar la estimación del estado X.
3. Subsistema visual inercial VIO
Mientras el subsistema LIO reconstruye la geometría del entorno, nuestro subsistema VIO recupera información radiométrica de la imagen en color de entrada. Más específicamente, nuestro subsistema VIO proyecta una cierta cantidad de puntos (es decir, puntos de seguimiento) del mapa global a la imagen actual y luego estima iterativamente la pose de la cámara (y otros estados del sistema) minimizando el error radiométrico de estos puntos.
Para mejorar la eficiencia computacional, sólo se utiliza un conjunto escaso de puntos del mapa de seguimiento. Nuestro marco propuesto difiere de los métodos fotométricos anteriores, que forman el residuo de un punto al considerar los errores fotométricos de todos los píxeles vecinos (es decir, parches). Estos métodos basados en parches son más sólidos y convergen más rápido que los métodos sin parches. Sin embargo, los métodos basados en parches no son invariantes ni para la traslación ni para la rotación, lo que requiere estimar transformaciones relativas al alinear un parche con otro. Además, al suponer que todos los píxeles del parche tienen la misma profundidad que el punto medio, el cálculo del residual no es del todo exacto.
Nuestro VIO, por otro lado, opera con un solo píxel, que utiliza el resplandor de un solo punto del mapa para calcular el residual. El resplandor de los neumáticos actualizado simultáneamente en VIO es una propiedad intrínseca de un punto en el mundo y es invariante a la traslación y rotación de la cámara. Para garantizar una convergencia sólida y rápida, diseñamos una canalización de dos pasos, como se muestra en la figura, donde en el primer paso (es decir, VIO de cuadro a cuadro) utilizamos el flujo óptico de cuadro a cuadro para rastrear lo observado en los últimos puntos del mapa de cuadros y obtenga una estimación aproximada del estado del sistema minimizando el error de reproyección de perspectiva de n puntos (PnP) de los puntos rastreados.
Luego, en el segundo paso (es decir, VIO de cuadro a mapa), la estimación del estado se refina aún más minimizando la diferencia entre el resplandor de los puntos del mapa y la intensidad de los píxeles en sus posiciones proyectadas en la imagen actual. Utilizando la estimación del estado de convergencia y la imagen de entrada original, finalmente actualizamos la radiancia del punto del mapa en función de la medición de la imagen actual.
Después de hacer clic en la actualización del mapa VIO, obtendremos la pose precisa de la imagen actual. Luego realizamos una actualización bayesiana para determinar la radiancia óptima para todos los puntos del mapa, de modo que el error de radiancia promedio entre cada punto y su imagen de visualización sea mínimo. Ver Figura 3.
4. Experimentar
En este capítulo, llevamos a cabo experimentos extensos para verificar las ventajas de nuestro sistema propuesto sobre otros pares en tres aspectos:
1) Para verificar la precisión de la localización, comparamos cuantitativamente nuestro sistema con los sistemas SLAM de última generación existentes en un conjunto de datos públicos (NCLT).
2) Para verificar la solidez de nuestro marco, lo probamos en varios escenarios desafiantes donde se produce la degradación de la cámara y el sensor lidar.
3) Para evaluar la precisión de nuestro sistema en la reconstrucción de patrones de radiación, lo comparamos con líneas de base existentes para estimar los tiempos de exposición de la cámara y calcular los errores fotométricos promedio.
Evaluación de la reconstrucción del mapa de radiación
En este experimento, evaluamos la precisión de nuestro algoritmo propuesto en la reconstrucción de patrones de radiación. Dado que no es posible medir el mapa de irradiancia del medio ambiente real, evaluamos la precisión en función de dos métricas: la calidad de la estimación del tiempo de exposición de la cámara y el error fotométrico promedio entre el mapa de irradiancia reconstruido y la imagen medida. .
