En la tecnología de fusión de información multisensor, la cámara y el lidar 3D se han desarrollado rápidamente y se han utilizado ampliamente bajo la premisa de que sus características son altamente complementarias. En muchas aplicaciones basadas en cámaras y lidar 3D, la calibración conjunta de los parámetros intrínsecos de la cámara y los parámetros extrínsecos de la cámara y lidar 3D es una base importante para las tecnologías posteriores de detección, seguimiento y SLAM. A medida que los algoritmos se actualizan e iteran, la precisión, la velocidad y el alcance de la calibración han mejorado, pero aún falta un estudio sistemático y completo de la calibración de la cámara y el lidar 3D.
En primer lugar, este documento presenta la comparación del rendimiento y el estado de la aplicación de los dos sensores; en segundo lugar, presenta el proceso de calibración, la selección de los objetivos de calibración y el establecimiento del modelo de calibración; luego, de acuerdo con la clasificación, presenta el principio y el algoritmo de la calibración de parámetros internos de la cámara y la calibración de parámetros externos conjuntos; finalmente, resume y brinda el desarrollo futuro de la cámara y la calibración lidar 3D.
Las plataformas terrestres no tripuladas representadas por vehículos no tripulados y robots tienen amplias perspectivas de aplicación en tareas de reconocimiento, inspección de seguridad y antideflagrantes debido a su autonomía, flexibilidad y tamaño pequeño. En los últimos años, se han realizado muchos estudios sobre la percepción del entorno y la comprensión de la escena de las plataformas no tripuladas. Entre muchas tecnologías clave, la obtención de información sobre la actitud del objetivo es un requisito previo clave para que las plataformas no tripuladas logren la percepción del objetivo y la comprensión de la escena del entorno, como se muestra en la Figura 1.
En esta etapa, la mayoría de las plataformas no tripuladas utilizan la solución "lidar + cámara de visión" para lograr una percepción ambiental completa. Entre ellos, lidar obtiene datos de nube de puntos 3D discretos de alta precisión en la superficie objetivo, que se ve menos afectada por el entorno y tiene buena robustez; las cámaras visuales pueden obtener información visual 2D de alta resolución y alta calidad, lo que tiene grandes ventajas en la percepción ambiental y la detección de objetivos.
Dado que la información de la cámara y el lidar es altamente complementaria, la fusión de los dos no solo puede superar las deficiencias de un solo sensor en la percepción ambiental, sino también obtener datos de observación de objetivos más abundantes y mejorar la precisión de su percepción ambiental, como se muestra en la Figura 2 y la Tabla I.
Debido a los escasos puntos de datos del lidar y la alta resolución de la cámara visual, la calibración conjunta del lidar y la cámara visual es el enlace básico para realizar la fusión de los dos. En respuesta a la calibración conjunta de cámaras de visión y lidar, se han propuesto varios métodos de calibración. Sin embargo, la mayoría de estos métodos se basan en necesidades reales, por lo que no existe una solución sistemática, faltan conjuntos de datos de calibración de código abierto y varios métodos no son uniformes, por lo que es difícil proporcionar a los investigadores una referencia clara.
Sobre esta base, este documento resume los métodos de calibración avanzados de lidar y la calibración conjunta de cámara única en los últimos años. Este documento se centrará en los problemas básicos de la construcción del sistema de calibración conjunta, el diseño de la placa de calibración y la solución de parámetros de calibración, como se muestra en la Figura 3 y la Figura 4.
Construcción del Sistema de Calibración
Un sistema de calibración típico se puede dividir en los siguientes pasos: primero, seleccione el radar láser, la cámara de visión y la placa de calibración de acuerdo con los requisitos, luego establezca la relación de conversión del objetivo de calibración en diferentes sistemas de coordenadas de acuerdo con un método determinado y finalmente resuelva la matriz de conversión. Entre ellos, la selección de la placa de calibración, el establecimiento de la relación de conversión del sistema de coordenadas y la solución de la ecuación de calibración son los enlaces clave.
¡La Figura 5 muestra los cuatro sistemas de coordenadas principales involucrados en la calibración conjunta de lidar y cámara basada en la placa de calibración! Sistema de coordenadas de píxeles (u, v), sistema de coordenadas de la cámara, sistema de coordenadas del plano de la imagen (x, y), sistema de coordenadas LIDAR.
La calibración conjunta de cámara y lidar generalmente incluye dos partes: calibración de parámetros internos y calibración de parámetros externos. La calibración de parámetros internos resuelve principalmente la distorsión del sensor CCD de la cámara y la influencia de la instalación; la calibración de parámetros externos se utiliza principalmente para establecer la ecuación de conversión de coordenadas entre los dos sensores. Como se muestra en la Figura 6, ¡este es el diagrama de flujo de la calibración conjunta de la cámara y el lidar!
La selección de la placa de calibración es diferente según el objeto de calibración y los puntos característicos extraídos.La calibración se puede realizar de dos maneras: calibración basada en objetivo o calibración sin objetivo. La calibración basada en objetivos generalmente usa una placa de calibración específica para facilitar que el algoritmo extraiga puntos de características específicos, mientras que el método de calibración sin objetivos generalmente usa directamente el material o las características estructurales en el entorno para extraer y combinar para lograr la calibración, con el fin de aumentar el alcance y la conveniencia de la calibración, como se muestra en la Figura 7.
1）Calibración basada en objetivos
La característica de la calibración basada en objetivos es utilizar un tipo específico de placa de calibración en el proceso de calibración. De esta manera, los puntos característicos son fáciles de capturar, el algoritmo requerido es simple y la potencia de cálculo es pequeña. Pero las desventajas también son obvias: primero, el sensor debe calibrarse antes de usarse y no se puede realizar una calibración en tiempo real. La otra es que un panel plano bidimensional (como un tablero de ajedrez) necesita obtener una correspondencia clara, lo que no solo hace que la precisión de la calibración final dependa en gran medida de los puntos característicos 3D y 2D, ¡sino que también requiere intervención manual!
Placa de calibración 2D
Una placa de calibración 2D generalmente depende de un objetivo de calibración específico, más comúnmente un tablero de ajedrez. Zhang [1] propuso por primera vez una placa de calibración de tablero de ajedrez para estimar los parámetros entre el lidar 2D y la cámara a través de un tablero de ajedrez con múltiples poses. Ranjith Unnikrishnan y otros [2] propusieron un método de calibración para el lidar 3D y los parámetros externos de la cámara basado en el método de calibración de la cámara y el lidar 2D propuesto por Zhang, como se muestra en la Figura 8.
Sin embargo, debido a la gran distancia entre los haces longitudinales de LiDAR y la baja resolución de adquisición, es difícil garantizar la precisión de los vértices precisos mediante la extracción de bordes. Lyu [3] ajustó manualmente la posición del tablero de ajedrez en la nube de puntos láser para que la línea de escaneo pueda escanear los vértices del tablero de ajedrez, pero esto aumentará el tiempo y la complejidad del proceso de calibración.
También para resolver el problema del ajuste inexacto de los bordes de la nube de puntos, Kang Guohua y otros [4] utilizaron el registro grueso del centro de la nube de puntos para lograr el registro fino general de la nube de puntos. Desde otro punto de vista, además de generar la información de coordenadas de la nube de puntos 3D, lidar también puede recuperar información sobre la intensidad de la reflexión. [5] establece el valor umbral para la intensidad de reflexión del lidar de diferentes materiales para obtener la nube de puntos del lidar y, en base a esto, se diseña una nueva placa de calibración.
La marca ArUco es un esquema de codificación especial que facilita la detección y corrección de errores en la propia etiqueta. Hall y otros presentan una placa de calibración para configuraciones experimentales que consta de varias unidades. El método [6] utiliza marcadores ArUco para calcular los puntos de esquina de la placa de calibración en el sistema de coordenadas de la cámara, y los puntos LIDAR para extraer las líneas de borde ajustadas, y luego se pueden calcular los parámetros externos de la cámara LIDAR.
En la práctica, este enfoque es el mismo que LIDAR en un tablero de ajedrez, incluidos los algoritmos de ajuste de línea y extracción de bordes inestables, que introducirán grandes errores en la calibración. Además, el método es más complejo debido a la necesidad de múltiples placas de calibración. Para aumentar las características extraíbles de la nube de puntos LIDAR, aparece una placa de calibración hueca. Los trabajos de Dong y otros [7] y Zhung y otros [8] son algo similares, construyeron un agujero circular hueco en el centro del tablero de ajedrez blanco y negro y calibraron el centro del agujero circular como un punto característico. Sin embargo, dado que la nube de puntos LIDAR no tiene características obvias, las coordenadas del centro solo se pueden aproximar a partir de la nube de puntos de agujeros circulares completa, como se muestra en la Fig. 9.
Recientemente, Huang Qiang y otros [9] propusieron un método de calibración conjunto para sensores de visión y lidar basado en una placa de calibración reconfigurable, que utiliza un método similar a un código de barras para identificar automáticamente los puntos característicos de lidar y agrega un mecanismo de verificación de cámara para aliviar los errores causados por la inestabilidad del reconocimiento de cámara durante el proceso de calibración.
Placa de calibración 3D
El propósito de la placa de calibración 3D es ayudar mejor al lidar a encontrar los puntos característicos, para que coincida mejor con los puntos característicos. Cuando el fondo es impuro, la placa hueca mencionada en la sección anterior puede causar una mezcla de píxeles. Zhou Shihui y otros [10] analizaron el error de píxel mixto producido por la placa de calibración hueca plana, diseñaron una placa de calibración especial en forma de cuadrícula y realizaron la calibración conjunta de alta precisión de cámaras industriales y lidar basada en el método de coincidencia de puntos característicos para lograr un efecto de fusión de imagen a nivel de píxel. Cai Huaiyu y otros [11] diseñaron un tablero de calibración (BWDC) con información de profundidad de gradiente, información de ángulo plano e información de posición.
Este método no solo extrae características de 1D, sino que también utiliza de manera efectiva la capacidad de LIDAR para extraer información 3D. Sin embargo, esto impone grandes exigencias al diseño y la precisión de fabricación de la placa de calibración, lo que aumenta el coste y el error. Como se muestra en la Figura 10.
Pusztai et al.[12] usaron un cuboide con tres lados verticales como objeto de calibración, estimaron los vértices 3D del cuboide extrayendo los bordes del cuboide y lo compararon con los vértices 2D extraídos de la imagen.Este método es general porque puede usarse para cajas ordinarias. De manera similar, Xiaojin Gong y otros [13] propusieron una calibración extrínseca de cámaras lidar 3D basadas en triedros arbitrarios. Dado que el objetivo triédrico utilizado para la calibración puede ser ortogonal o no ortogonal, lo que suele ocurrir en entornos estructurados, tiene una amplia gama de aplicaciones.
2) Calibración sin objetivo
La calibración sin objetivo no requiere la calibración manual del objetivo, y la calibración en línea es más conveniente, pero la precisión es baja y la robustez es deficiente. Por ejemplo, cuando se requiere una calibración en línea, la posición relativa del sensor fijo cambiará debido a la vibración mecánica y sus parámetros de calibración se volverán imprecisos con el tiempo. Dado que la mayoría de los métodos de fusión son extremadamente sensibles a los errores de calibración, su rendimiento y confiabilidad se ven gravemente comprometidos. Además, la mayor parte del proceso de calibración debe comenzar desde cero, por lo que es engorroso y poco práctico actualizar continuamente los parámetros de calibración manualmente. Para deshacerse de la limitación de la placa de calibración y realizar la calibración en línea a través de escenas naturales, ¡los investigadores han realizado muchas investigaciones!
Algunos de estos métodos utilizan la correlación entre la textura RGB y la reflectancia LIDAR, y algunos extraen características de borde [17] o de línea [18] en la imagen y la nube de puntos láser para la medición de la correlación. [19] utilizó la alineación natural de los bordes de profundidad e intensidad combinados con un modelo de mezcla gaussiana para la calibración, y obtuvo un método de optimización de coincidencia global automático, sin objetivos y totalmente basado en datos.
Estos métodos requieren parámetros iniciales relativamente precisos; de lo contrario, es fácil quedarse atascado en los extremos locales, por lo que los métodos de calibración sin objetivo para escenarios de autorreconocimiento se utilizan generalmente para ajustar los parámetros extrínsecos. También hay registro de trayectoria basado en odometría [20], registro de nubes de puntos densas de marcos visuales de series temporales y nubes de puntos láser [21], e incluso métodos basados en aprendizaje profundo [22], [23]. Estos métodos no solo dependen en gran medida del entorno, sino que también se ven afectados por la precisión de la visión o la odometría láser. La tecnología actual tiene poca precisión y no es universal, y se necesita más investigación y desarrollo.
3) Establecimiento de la ecuación de calibración
En el proceso de adquisición del sensor de la cámara, para determinar la relación entre la posición geométrica 3D de un punto en la superficie de un objeto espacial y su punto correspondiente en la imagen, se debe establecer un modelo geométrico de imágenes de la cámara.
(1) Conversión de coordenadas tridimensionales: la conversión del sistema de coordenadas de la cámara al sistema de coordenadas LIDAR, la fórmula es la siguiente:
(2) Transformación de coordenadas bidimensional: transformación del sistema de coordenadas de píxeles al sistema de coordenadas de imagen, la fórmula es la siguiente:
(3) Transformación de coordenadas basada en el principio de imágenes estenopeicas: la transformación del sistema de coordenadas de la cámara al sistema de coordenadas de la imagen, la fórmula es la siguiente:
(4) Conversión combinada: la conversión del sistema de coordenadas LIDAR al sistema de coordenadas de píxeles se combina y deriva como se muestra en la Figura 11, y la fórmula es la siguiente:
Resolución de parámetros
1) Referencia interna de la cámara
Para simplificar el cálculo, se supone una cámara estenopeica ideal lineal, como se muestra en a en la Fig. 12. Sin embargo, debido a la desviación de la precisión de la lente de la cámara y del proceso de ensamblaje, la imagen de la cámara inevitablemente presenta distorsión. Las distorsiones de la imagen real y dos imágenes de cámara comunes se muestran en la Fig. 13, lo que da como resultado imágenes distorsionadas, como se muestra en b en la Fig. 12.
Los parámetros internos son uno de los parámetros de calibración importantes de la medición de la visión, que reflejan la correspondencia precisa entre los puntos espaciales y los puntos de imagen en coordenadas de imágenes de computadora, como se muestra en la Figura 14.
Métodos tradicionales de calibración de cámaras. Los métodos tradicionales de calibración de cámaras utilizan un objetivo de calibración o un campo de calibración 3D con una estructura conocida y alta precisión como objeto de referencia espacial. Una vez establecido el sistema de coordenadas mundiales, se obtienen las coordenadas espaciales de cada punto característico y se establecen las condiciones de restricción de los parámetros internos de la cámara de acuerdo con la relación correspondiente entre el punto espacial y el punto de la imagen.
Finalmente, los parámetros internos se obtienen a través de un algoritmo de optimización.En el cálculo de los parámetros internos de la cámara, el método más utilizado es el método de Zhang Zhengyou [24]. Inspirándose en el método de Zhang Zhengyou, muchas funciones de biblioteca de código abierto como OpenCV, ROS, matlab y algunas cajas de herramientas [25][26] utilizan este método para el desarrollo y la calibración.
Método de autocalibración de la cámara. El método de autocalibración de la cámara se refiere al proceso de establecer correspondencias utilizando un conjunto de imágenes que contienen escenas superpuestas capturadas por la cámara y completa la calibración geométrica sin depender de objetos de referencia de calibración. Dado que solo se utilizan sus propias restricciones, es independiente del estado de movimiento relativo entre la cámara y el entorno circundante, lo que permite una mayor flexibilidad en los casos en los que no se puede utilizar un objetivo de calibración debido a condiciones adversas.
Métodos de autocalibración de cámaras [27], [28], [29] para resolver las ecuaciones de Kruppa usando propiedades de transformaciones cónicas y epipolares absolutas. Este método de resolución directa de la ecuación de Kruppa tiene demasiados parámetros de optimización en el proceso de solución y es fácil caer en el óptimo local. Cuando el ruido de la imagen es grande, la precisión de la calibración se reducirá y la robustez será pobre, lo que se reemplaza por un método de calibración paso a paso jerárquico.
Utiliza la calibración de la proyección como base, selecciona una imagen como estándar y realiza la alineación de la proyección, lo que reduce las incógnitas. Luego se utiliza un algoritmo de optimización no lineal para resolver todos los problemas desconocidos [30]. Otra rama es la tecnología de autocalibración de la cámara basada en visión activa.El sistema de visión activa se refiere a la instalación precisa de la cámara en la plataforma controlable. Controle activamente la cámara para completar la sesión de fotos de acuerdo con la trayectoria de movimiento especificada y, finalmente, use los parámetros de movimiento de la cámara para determinar los parámetros internos [31], [32] Sus desventajas son requisitos más altos para equipos experimentales, mayores restricciones en los parámetros del modelo y poca capacidad antirruido.
Método basado en la calibración del punto de fuga. Desde la década de 1990, un gran número de académicos nacionales y extranjeros han comenzado a estudiar métodos basados en la calibración del punto de fuga. Geométricamente, el punto de fuga de una línea universal se obtiene por la intersección de rayos paralelos a la línea y que pasan por el centro de la cámara y el plano de la imagen, por lo que el punto de fuga depende únicamente de la orientación de la línea, no de su ubicación específica [33], [34], [35]. El método de calibración del punto de fuga no requiere puntos de control de objetos, sino que utiliza la relación de restricción entre los propios parámetros de la cámara para construir un modelo. Esto mejora en gran medida la flexibilidad de la calibración, realiza una calibración en línea en tiempo real y tiene una amplia gama de aplicaciones.
Sus desventajas son la escasa robustez y la baja precisión, porque en la mayoría de los métodos basados en la calibración del punto de fuga, el elemento de acimut de la cámara se calibra mediante el punto de fuga de una sola imagen, mientras que los algoritmos tradicionales de calibración del punto de fuga requieren tres conjuntos de líneas paralelas mutuamente ortogonales en la escena. Sin embargo, a menudo está limitado en aplicaciones prácticas debido a factores como el ruido. Los parámetros internos y los parámetros de distorsión de la cámara son parámetros inherentes a la cámara, que normalmente se fijan después de salir de fábrica. Como resultado, muchos fabricantes ahora proporcionan las partes internas de la cámara directamente de fábrica. Al mismo tiempo, como la optimización interna del diseño de la cámara, su control de distorsión es cada vez mejor. ¡Esta es también la razón de la lenta investigación y actualización del algoritmo de calibración de parámetros internos!
2) Solución de parámetros externos
Desde la perspectiva de los métodos de selección de datos, se puede dividir en soluciones de calibración manual y soluciones de calibración automática. La calibración manual es el primer método de calibración desarrollado y utilizado en la etapa inicial, y el personal de calibración lo aprecia por su operación simple y efectiva y su alta precisión. Sin embargo, con el desarrollo de la ciencia y la tecnología, la cantidad de datos en imágenes y nubes de puntos es enorme, lo que genera un fuerte aumento en los costos de mano de obra. Una sola calibración manual ya no puede satisfacer las necesidades de velocidad, automatización y robustez de las personas, y la calibración automática ha surgido a medida que los tiempos lo requieren. Como se muestra en la Figura 15, los parámetros externos de la cámara en lidar se calibran de acuerdo con diferentes principios.
Calibración manual de parámetros externos
Para la calibración de parámetros externos del lidar de la cámara, el objeto de calibración puede proporcionar información precisa del tamaño geométrico, y la operación manual puede proporcionar información precisa de coincidencia. El enfoque más común es usar un tablero de ajedrez para determinar una serie de pares de puntos 3D para la calibración. Por ejemplo, Dhall y otros [36] seleccionaron manualmente puntos 3D y utilizaron el método de mínimos cuadrados para resolver el problema, y Scaramuzza y otros [37] propusieron un método de calibración rápido que no depende del objeto de calibración sino que se basa en las características de los puntos.
Los autores seleccionan manualmente una serie de puntos correspondientes con profundidades discontinuas a partir de imágenes de cámara y nubes de puntos LIDAR para resolver el problema. Existen muchos métodos de calibración para la cámara-lidar manual. Diferentes métodos logran alta precisión en diferentes escenarios de aplicación específicos.Para los sistemas que requieren calibración en línea en tiempo real, el principal problema de la calibración manual es la dependencia excesiva de operaciones manuales y objetos de calibración especiales, lo que reduce seriamente la autonomía y la inteligencia.
Calibración automática de parámetros externos
Con las necesidades urgentes de las aplicaciones inteligentes, en los últimos diez años ha nacido una gran cantidad de métodos de calibración automática para los parámetros externos de la cámara lidar. Estos métodos se clasifican en métodos basados en coincidencia de características, métodos basados en información mutua, métodos basados en movimiento y métodos basados en aprendizaje profundo.
a) Método de calibración basado en la coincidencia de características
El método basado en la coincidencia de características obtiene las coordenadas de los puntos característicos en los dos sistemas anteriores mediante la selección de puntos característicos y en función del tablero de calibración. De acuerdo con la coincidencia de características, la relación de conversión entre el sistema de coordenadas LIDAR y el sistema de coordenadas de píxeles de la cámara se obtiene directamente, y luego la matriz de conversión y los parámetros internos y externos se calculan resolviendo la ecuación de transformación de la matriz de calibración o utilizando métodos de aprendizaje supervisado. Actualmente, los métodos de coincidencia de características basados en la extracción de bordes de nubes de puntos LIDAR se dividen principalmente en dos tipos: método indirecto y método directo.
Métodos indirectos: la mayoría de los métodos convierten los puntos LIDAR en imágenes y luego realizan la extracción de bordes. Wang y otros [39] usaron el algoritmo de Canny para extraer el borde de la imagen y usaron un detector de límites para generar una imagen de rango a partir de la nube de puntos lidar 3D y establecieron la correspondencia entre los datos de la nube de puntos y la imagen de rango. Combine imágenes 2D y datos de nubes de puntos 3D por correspondencia de píxeles para obtener imágenes de borde con información 3D. Normalmente, la resolución de la cámara y la nube de puntos son diferentes, y este método puede introducir algunos errores.
Método directo: en la imagen, el borde de la imagen se forma donde el valor de gris cambia repentinamente, y este cambio se denomina gradiente de imagen. Basado en las características de los bordes de la imagen, Xia y otros [40] propusieron el concepto de gradiente de nube de puntos 3D, que luego se basó en la nube de puntos LiDAR para la extracción rápida de bordes. Este método de ajuste puede extraer más características de borde, tiene mayor precisión y no es sensible a la densidad de puntos.
b) Método de calibración basado en información mutua
La idea principal de los métodos basados en información mutua es encontrar variables correlacionadas en imágenes de cámara y nubes de puntos LIDAR. Los parámetros extrínsecos de calibración se optimizan calculando la información mutua entre los valores de escala de grises de la imagen de la cámara y las variables relacionadas (como la reflectividad del lidar o el ángulo de reflexión del lidar) y luego maximizando la información mutua. Pandney y otros [41] creían que existe una fuerte correlación entre la reflectividad de la nube de puntos LIDAR y el valor de gris de la imagen de la cámara, y la probabilidad de reflectividad y valor de gris se calcula mediante el método de estimación de densidad kernel.
Finalmente, la información mutua se calcula mediante el método de descenso más pronunciado de Barzilai-Borwein y se optimizan los parámetros externos. Taylor y otros [42] argumentan que el ángulo entre la normal del punto 3D correspondiente al punto de la imagen de la cámara y la cámara afectará la intensidad de la reflexión, y la calibración se realiza calculando la información mutua entre la reflectividad de la nube de puntos LIDAR y el ángulo anterior correspondiente al punto de la imagen de la cámara. Se puede ver que los parámetros extrínsecos precisos entre dos sensores son especialmente importantes cuando dos sensores realizan una fusión de datos ajustada.
Debido a la escasez de la nube de puntos LiDAR, es imposible extraer directamente los puntos LiDAR dispersos en las esquinas de la placa de calibración, lo que generará errores más grandes y también conducirá a cálculos de esquina precisos. Por lo tanto, el método de calibración externa de la cámara LiDAR basado en puntos característicos de intensidad de reflexión extraídos directamente puede compensar este problema de manera efectiva. Sin embargo, la eficacia de los métodos basados en información mutua está relacionada con el material y la reflectividad del objeto objetivo en el entorno donde se encuentra el sensor, y se ve afectado fácilmente por factores como las condiciones de iluminación y los cambios climáticos.
c) Método de calibración basado en movimiento
Los métodos basados en movimiento generalmente resuelven parámetros extrínsecos a partir de datos de movimiento continuo o datos de vistas múltiples. Primero, el movimiento de la cámara y el lidar se calculan por separado, y luego los parámetros extrínsecos directos de la cámara y el lidar se resuelven mediante la calibración ojo-mano. Taylor [43] y otros propusieron un conjunto de métodos de calibración que se pueden aplicar a cualquier sistema que consista en sensores de navegación, cámara y lidar. Los autores primero registran fotogramas consecutivos de cada sensor y luego usan la concatenación para calibrar parámetros extrínsecos. Ishikawa [44] y otros utilizaron el rastreador KLT para rastrear el punto de proyección del lidar en el plano de la imagen y optimizaron continuamente el vector de traducción sin escala 3D a través del error de proyección y lograron resultados más precisos que Taylor. Zhao [45] usó las imágenes de los marcos frontal y posterior de la cámara para reconstruir el 3D de la escena urbana y calcular el cambio de pose, y calculó el ICP de los marcos frontal y posterior de la nube de puntos LIDAR para obtener el cambio espacial de la nube de puntos.
Al mismo tiempo, son muchos los estudios que han conseguido el registro de imágenes en nubes de puntos UAV y LiDAR mediante técnicas como keyframes y estructuras de recuperación de movimiento. Por ejemplo, Nedevschi y otros [46] utilizaron la coincidencia de características para detectar la desviación del sensor durante el viaje del vehículo. El método encuentra bordes en una imagen realizando una transformación de distancia en la imagen y, al mismo tiempo, convierte la nube de puntos LIDAR en una imagen de rango. La función objetivo se establece de acuerdo con la información de borde. Este método puede eliminar la deriva generada durante el movimiento del vehículo y ajustar automáticamente los parámetros externos.
Se puede ver que los métodos basados en movimiento son adecuados para resolver valores iniciales de parámetros de calibración y escenas a gran escala. Pero la principal desventaja del método basado en el movimiento es que el movimiento de la cámara monocular carece de información de escala 3D, y hay un gran error entre la estimación de la pose y los datos en sí, y la precisión necesita un gran avance. Dado que el problema de escala se puede recuperar mediante visión estéreo, el problema de calibración se simplifica enormemente, por lo que este método es más adecuado para cámaras estéreo.
d) Método de calibración basado en aprendizaje profundo
Con el rápido desarrollo del aprendizaje profundo en los últimos años. Se pueden lograr y realizar bien varias tareas de percepción en la conducción autónoma a través del aprendizaje profundo, y la calibración de parámetros externos de lidar y cámara también se puede predecir a través de redes neuronales. Schneider [47] y otros propusieron el primer método para aplicar el aprendizaje profundo al problema de la calibración, extrayendo imágenes de la cámara y nubes de puntos LiDAR respectivamente a través de la red neuronal RegNet y luego realizando una regresión.
Ganesh Iyer [48] y otros diseñaron una red profunda supervisada geométricamente que puede estimar automáticamente la transformación de cuerpo rígido de 6 DoF entre LiDAR 3D y cámara 2D en tiempo real. Entre ellos, CalibNet reduce la necesidad de objetivos de calibración, lo que ahorra mucho trabajo de calibración. Recientemente, Kaiwen Yuan y otros [49] propusieron un método de calibración de cámara LiDAR basado en RGGNet. El método considera la geometría de Riemann y aprende un modelo de tolerancia implícito utilizando un modelo generativo profundo. Este método no solo considera el error de calibración, sino que también considera la tolerancia dentro del rango de error y logra un buen efecto de calibración. Para las redes neuronales profundas, no es necesario extraer previamente las características de las imágenes y las nubes de puntos LIDAR para establecer el mapeo y la conexión de los dos datos.
En cambio, va directamente a los nodos de la red neuronal para encontrar posibles relaciones. Para problemas de calibración, el aprendizaje supervisado claramente no es suficiente. Es difícil obtener directamente el valor real de los parámetros extrínsecos y es difícil proporcionar un conjunto de entrenamiento confiable y considerable. Por lo tanto, el aprendizaje no supervisado o semisupervisado es más adecuado para problemas de calibración de parámetros externos. Sin embargo, los algoritmos existentes tienen requisitos más altos en las condiciones de uso, una gran cantidad de entrenamiento es una gran cantidad de cálculo y la capacidad de generalización debe mejorarse con urgencia.
referencia
[1] Revisión de un lidar 3D combinado con calibración monofocal.