Résumé
Le LiDAR et les caméras sont des capteurs clés pour les systèmes de perception multimodaux. Cependant, la matrice de transformation extrinsèque dérivera avec le temps. Afin de résoudre ce problème, cet article propose une méthode basée sur les caractéristiques linéaires pour effectuer l’auto-étalonnage LiDAR de la caméra en ligne. Les entités linéaires sont choisies pour contraindre la matrice des paramètres extrinsèques car elles sont omniprésentes. Tout d’abord, les entités linéaires sont extraites des nuages de points et des images. Ensuite, la méthode d’optimisation adaptative est utilisée pour obtenir la matrice précise des paramètres extrinsèques. L'article montre que les caractéristiques linéaires sont des caractéristiques géométriques robustes qui peuvent être extraites de nuages de points et d'images, puis utilisées pour l'étalonnage de paramètres externes. Cet article évalue cet algorithme sur l'ensemble de données KITTI, et les expériences montrent que sa précision d'étalonnage est excellente. Dans plusieurs centaines de cadres d'expériences en ligne, cette méthode a atteint une précision de 0,2°. Cet article a également démontré sa forte adaptabilité dans différents scénarios.
Principales contributions
1) Proposer une méthode d'étalonnage en ligne de paramètres externes à six degrés de liberté, qui utilise des caractéristiques de ligne générales pour réduire les erreurs de dérive sans nécessiter de sélection manuelle de points ni de cibles spéciales, afin qu'elle puisse être appliquée à n'importe quel scénario donné.
2) Proposer une méthode d'extraction de lignes de nuages de points pour obtenir des entités linéaires en ligne à partir de nuages de points.
3) Introduire des méthodes d'optimisation adaptatives et des méthodes d'évaluation de la confiance des résultats pour garantir que l'optimisation va dans la bonne direction et calculer les résultats d'étalonnage plus efficacement.
méthode
L'algorithme est divisé en trois étapes. Tout d’abord, prétraitez le nuage de points et les données d’image. Ensuite, les entités linéaires sont extraites des images et des nuages de points, et les opérations d'affinement sont effectuées via le filtrage des entités. Enfin, les caractéristiques des lignes du nuage de points sont projetées dans le cadre de pixels en ajoutant une perturbation aux paramètres externes initiaux, puis les scores obtenus à chaque fois sont calculés et optimisés.
Construction d’un problème et hypothèses
Cet article utilise les angles et les traductions d'Euler pour représenter les paramètres externes relatifs du LiDAR et des caméras. Cet article enregistre le nuage de points sous la forme , et la valeur des pixels de l'image sous la forme
(pixels de l'image en niveaux de gris 0-255, le blanc est 255, le noir est 0, donc plus le point du bord est proche, plus la valeur est grande, plus le score ci-dessous est élevé). Il représente les valeurs du point i et du pixel ij des données de la t-ième image. Cet article optimise les paramètres externes 6-DOF en projetant chaque point sur les coordonnées de pixel, puis en ajoutant une valeur en niveaux de gris à chaque pixel pour calculer le score du paramètre actuel. La fonction objectif est la suivante
Parmi eux, il représente des éléments horizontaux et
des éléments verticaux, et
le point est le point de ces deux éléments. Le coefficient
représente le poids des deux caractéristiques. Cet article le fixe à 0,65 afin d'augmenter l'effet des contraintes horizontales.
Indique la taille de la fenêtre glissante. Le score de la t-ème image est
obtenu en faisant la moyenne des images précédentes. (Ici, le poids de l'image peut être la valeur de gris du pixel correspondant. Plus la valeur de gris est grande, plus il est probable qu'il s'agisse d'un bord ; et le poids du nuage de points LiDAR peut être sa confiance en tant que bord, comme la distance entre ce point de bord et le point le plus proche. , plus la distance est grande, plus il est probable qu'il s'agisse d'un bord, et plus le poids correspondant est grand)
L'hypothèse de base de cet article est que lorsque les paramètres d'étalonnage sont corrects, les caractéristiques linéaires du nuage de points auront une réponse plus élevée aux caractéristiques linéaires de l'image. De plus, cet article suppose également que les paramètres internes du LiDAR et de la caméra ont été correctement calibrés et que les données ont été synchronisées.
B Traitement d'images
Convertissez d’abord RVB en niveaux de gris et utilisez [ Lsd : un détecteur de segment de ligne ] pour extraire les caractéristiques de ligne. Un modèle de transformation de distance est ensuite appliqué à ces images en niveaux de gris. Les caractéristiques linéaires de la figure 3 (c) sont plus ordonnées, les exigences de changement de valeur de gris (hyperparamètres requis pour l'extraction des bords) sont plus petites et une étape de recherche plus importante peut être tolérée, ce qui peut éviter que l'optimisation ne tombe dans les extrêmes locaux.
Traitement LiDAR C
Le LiDAR utilise principalement la continuité de distance pour obtenir les caractéristiques des lignes de bord. Cet article utilise la méthode de cartographie locale pour regrouper trois images de nuages de points, afin que davantage de points puissent être obtenus dans une seule image. Utilisez la méthode NDT pour calculer le mouvement relatif des trois images. La figure 4 montre l'effet d'extraction de points de bord d'un nuage de points multi-trame et d'un nuage de points mono-trame, indiquant que le nuage de points multi-trame peut améliorer l'effet de l'extraction d'entités linéaires, en particulier lorsque le faisceau linéaire LiDAR est faible.
Le nuage de points dense est ensuite converti en format d'image, et chaque pixel enregistre les informations de distance du nuage de points correspondant (Range Image). En comparant la distance entre le point actuel et les points adjacents, des entités linéaires plus précises peuvent être extraites et les points aberrants proches des points adjacents sont éliminés. Contrairement à [ Calibrage automatique en ligne des caméras et des lasers], nous utilisons plusieurs faisceaux de câbles au lieu d'un seul faisceau. Cela permet d’extraire les entités horizontales et les entités linéaires peuvent être utilisées pour minimiser les erreurs horizontales et verticales. Les entités linéaires horizontales et verticales sont enregistrées dans différents nuages de points. La chance en avion se produit rarement, elle est donc ignorée ici, ce qui peut également réduire la quantité de calcul.
Filtre de fonctionnalités D
Les entités linéaires extraites par la méthode ci-dessus sont désordonnées, deux méthodes sont donc utilisées pour extraire les points externes. Étant donné que le nuage de points est converti en image de distance, un noyau de convolution est utilisé pour filtrer les points dont la distance par rapport à huit points adjacents est supérieure à un certain seuil. Cette méthode peut filtrer les points externes et les points au sol. Les points restants peuvent être traités comme des entités linéaires.
Une méthode de regroupement est ensuite utilisée pour filtrer les points caractéristiques des lignes avec quelques points voisins.
Ces deux étapes peuvent extraire des caractéristiques de ligne de nuage de points plus ordonnées et obtenir de meilleurs résultats lors de l'optimisation ultérieure.
Les entités linéaires dans les images filtreront les entités de moins de 8 pixels.
E optimisation adaptative
La quantité de calcul et la précision du calcul doivent être prises en compte lors de l'optimisation. Avant l'optimisation, les caractéristiques linéaires du LiDAR sont projetées dans l'image, puis la proportion de points LiDAR projetés dans la zone en niveaux de gris (???) est calculée.
Comme le montre la figure 6, afin de calculer la précision, deux étapes de recherche sont effectuées pour obtenir des résultats plus précis. Premièrement, afin d'éviter que la recherche ne tombe dans la solution optimale locale, une méthode de recherche approximative avec des lignes d'image plus larges, des changements d'échelle de gris plus petits et une compensation relativement plus importante est adoptée pour trouver rapidement la zone contenant la solution optimale. Ensuite, des caractéristiques de ligne d'image plus fines, des changements d'échelle de gris plus importants et des pas de recherche plus petits sont adoptés pour obtenir des résultats d'étalonnage plus précis. La commutation des changements d'échelle et de niveaux de gris dans les deux parties se produira une fois que la proportion du nuage de points projeté dans la zone en niveaux de gris (proportion, comment calculer ???) dépasse un certain seuil.
Pour plus d'efficacité de calcul, cet article adopte une méthode adaptative pour maintenir l'optimisation dans la bonne direction. Dans [Calibrage automatique en ligne des caméras et laser], ils opèrent sur 729 valeurs différentes pour obtenir le score de fonction. Cette méthode n'est pas efficace car certaines étapes sont redondantes. Cet article utilise une méthode de recherche pour optimiser la fonction objectif. Il comparera le score actuel avec les 728 scores adjacents. Au cours de ce processus, le programme japonais de recherche de la paix découvre que le paramètre externe a un score plus élevé, mettra en pause l'étape de recherche en cours, puis lancera une nouvelle recherche à un score plus élevé. Le processus de recherche s'arrêtera après avoir atteint le nombre maximum d'itérations ou trouvé le meilleur score, ce qui peut augmenter l'efficacité du calcul. Utilisez également la méthode de la fenêtre coulissante. Dans cet article, le nuage de points à trois images est utilisé pour empêcher la recherche d’optimisation d’aller dans la mauvaise direction ou de tomber dans une solution optimale locale. Par conséquent, les paramètres d’optimisation finaux doivent être optimaux dans toutes les images de la fenêtre glissante.
Dans l’ensemble, les deux étapes peuvent produire des résultats plus robustes et plus précis, et la stratégie de terminaison peut également accélérer l’étalonnage. Des algorithmes tels que Algorithm1.
