Resumen

El radar con cámara se utiliza ampliamente, pero hay poco trabajo que vincule la sincronización de tiempo y la calibración de parámetros externos, lo cual es importante para la fusión de datos. La tecnología de calibración de tiempo y espacio enfrenta los desafíos de la falta de correlación y rendimiento en tiempo real. Este artículo propone un modelo de evaluación de pose y un algoritmo de extracción de características de línea ambientalmente robusto para mejorar las capacidades de asociación de datos y estimación en línea en tiempo real. La eliminación dinámica de objetivos tiene como objetivo buscar una mejor estrategia y considerar la correspondencia del registro de nubes de puntos en movimiento adyacentes. La estrategia de optimización de búsqueda tiene como objetivo proporcionar parámetros más óptimos teniendo en cuenta la precisión y eficiencia de los cálculos. Evaluamos nuestro algoritmo en KITTI. En experimentos en línea, nuestro método mejoró la precisión en un 38,5% en comparación con el método de sincronización suave en la calibración de tiempo. En la calibración espacial, nuestro método puede corregir automáticamente el error de perturbación en 0,4 segundos y lograr una precisión de 0,3°. Este trabajo tiene cierta utilidad para la investigación y aplicación de la fusión de sensores.

Principales contribuciones

1) Proponer un nuevo modelo de evaluación de pose para reducir el retraso de tiempo y la deriva de parámetros externos en la calibración en línea espacio-temporal.

2) Proponer un método para eliminar las nubes de puntos dinámicas , que solo utiliza la correlación entre los dos fotogramas del collar en lugar del fotograma de detección basado en información previa.

3) Introducir un método de optimización de búsqueda para mejorar la eficiencia de la optimización y un nuevo método de evaluación de la precisión para evaluar la precisión de los resultados de la calibración.

método

Un modelo de evaluación de pose.

Extracción de características de línea B

Extracción de características de línea de imagen: utiliza principalmente procesamiento de imágenes en escala de grises y palabras de borde astutas; consulte el artículo [ Lsd: un detector de segmentos de línea ].

Extracción de características de línea LiDAR: la nube de puntos se divide en diferentes paquetes de líneas y la extracción de puntos de características de línea límite utiliza la continuidad de la distancia. Para extraer suficientes características de línea en LiDAR de haz bajo, se utiliza mapeo local para asociar tres cuadros, de modo que se puedan mostrar más nubes de puntos al mismo tiempo. Dependiendo de la intensidad de la señal GPS y los requisitos de precisión del escenario de conducción autónoma, proponemos dos métodos de mapeo local: método basado en GPS y END. El primero tiene alta eficiencia pero baja precisión, mientras que END tiene baja eficiencia y alta precisión.

Proyección C y filtrado de características.

La nube de puntos se proyecta en la imagen a través de una matriz de rotación y traslación, y los valores atípicos se filtran en la extracción de características. Después de convertir la nube de puntos LiDAR a un formato de imagen, un núcleo de convolución de límite de 8 píxeles filtra los valores atípicos en la imagen para obtener características de línea más estandarizadas de la imagen. Hemos filtrado las nubes de puntos terrestres porque sus líneas laterales no se registran bien.

D eliminación dinámica de objetivos de nube de puntos

Aunque hay más nubes de puntos estáticas, el método de registro basado en características de línea se verá más afectado que el método de registro basado en la nube de puntos original, por lo que es necesario el filtrado dinámico de la nube de puntos.

El filtrado dinámico de nubes de puntos se utiliza actualmente ampliamente para la detección de objetos de aprendizaje profundo. La nube de puntos original y la información anterior se utilizan como entradas a la red de detección, que puede identificar posibles objetos dinámicos y devolver marcos de detección. Luego, la nube de puntos dinámica se calcula en función del marco de detección. Sin embargo, este método se basa en información previa y en una red de detección, que no puede cumplir con la naturaleza en tiempo real de la calibración en línea.

Proponemos un método ligero de alta precisión. El árbol binario kd se utiliza para encontrar puntos vecinos más cercanos. La distancia del punto de registro del vecino más cercano debe ser pequeña para objetivos estacionarios y mayor para objetos dinámicos, por lo que establecemos un umbral para filtrar objetivos dinámicos. Debido a que la nube de puntos en el momento t es una suposición, no $t+e_t$ el valor verdadero en el momento, habrá un error angular. De acuerdo con el principio de similitud de triángulos, otros objetos dinámicos requieren un umbral mayor para filtrar, por lo que establecemos un factor lineal para corregir el umbral. Los objetos dinámicos se filtran mediante umbrales dinámicos lineales y se agrupan para su posterior análisis.

Optimización de búsqueda electrónica

En la etapa anterior, las características de las líneas LiDAR se extrajeron y proyectaron en la imagen, y se calculó su relación de proyección.

Para calcular la precisión, como se muestra en la Fig. 5, se proponen cuatro pasos de búsqueda basados en diferentes tasas de escala de grises.

Para lograr eficiencia computacional, se utiliza un método de búsqueda para optimizar la función de costos. En [ Calibración extrínseca automática basada en líneas de lidar y cámara, ICRA ], compararon la puntuación de la función actual con las 728 puntuaciones adyacentes. Si el programa de búsqueda encuentra un parámetro con una puntuación más alta, detendrá el paso de búsqueda actual y luego comenzará. una nueva búsqueda en una posición de puntuación más alta. Este método se detiene después de alcanzar el límite superior de iteraciones o encontrar la mejor puntuación. Mejoramos este método para que cuando se encuentre la dirección de descenso de gradiente más rápida, podamos optimizar más rápido en esta dirección. Algoritmo1 demuestra nuestro enfoque

Calibración integrada temporal y espacial en línea para lectura de papel LiDAR y cámara