まとめ
LiDAR とカメラは、マルチモーダル認識システムの重要なセンサーです。ただし、外部変換行列は時間の経過とともにドリフトします。この問題を解決するために、本論文ではライン特徴に基づいてオンラインカメラLiDAR自己校正を実行する方法を提案する。ライン フィーチャは遍在しているため、外部パラメータ マトリックスを制約するために選択されます。まず、点群と画像からライン フィーチャが抽出されます。次に、適応最適化手法を使用して、正確な外部パラメータ行列を取得します。この論文では、ライン フィーチャは点群や画像から抽出できる堅牢な幾何学的フィーチャであり、外部パラメータのキャリブレーションに使用できることを示しています。この記事では、KITTI データセットでこのアルゴリズムを評価し、その校正精度が優れていることが実験によって示されています。数百フレームのオンライン実験で、この方法は 0.2° の精度を達成しました。この記事では、さまざまなシナリオでの高い適応性も実証しました。
主な貢献
1) 6 自由度の外部パラメータのオンライン校正方法を提案します。この方法は、手動の点選択や特別なターゲットを必要とせずに、一般的なライン機能を使用してドリフト誤差を低減し、任意のシナリオに適用できます。
2) 点群からオンラインでライン特徴を取得する点群ライン抽出手法を提案する。
3) 適応最適化手法と結果の信頼性評価手法を導入して、最適化が正しい方向に進んでいることを確認し、校正結果をより効率的に計算します。
方法
アルゴリズムは 3 つのステップに分かれています。まず、点群と画像データを前処理します。次に、画像と点群からライン フィーチャが抽出され、フィーチャ フィルタリングを通じて絞り込み操作が実行されます。最後に、初期の外部パラメータに摂動を追加することで点群のライン フィーチャがピクセル フレームに投影され、毎回取得されるスコアが計算されて最適化されます。
問題の構成と仮説
この記事では、オイラー角と変換を使用して、LiDAR とカメラの相対的な外部パラメータを表します。この記事では、点群を として記録し、画像のピクセル値を
(グレースケール画像のピクセル 0 ～ 255、白は 255、黒は 0 であるため、エッジ ポイントに近づくほど値が大きくなり、以下のスコアが高くなります) として記録します。 t番目のフレームデータの点iとピクセルijの値を表します。この記事では、各点をピクセル座標に投影し、グレースケール値を各ピクセルに追加して現在のパラメーターのスコアを計算することにより、6-DOF 外部パラメーターを最適化します。目的関数は次のとおりです
このうち、水平の特徴と垂直の特徴を表しており
、
ポイントはこの2つの特徴の点です。この係数は
2 つのフィーチャの重みを表します。この記事では、水平方向の制約の効果を高めるために、係数を 0.65 に設定します。
スライディング ウィンドウのサイズを示します。t 番目のフレームのスコアは、
前のフレームを平均することによって取得されます。(ここで、画像の重みは、対応するピクセルのグレー値にすることができます。グレー値が大きいほど、エッジである可能性が高くなります。LiDAR 点群の重みは、次のようにエッジとしての信頼度になります。このエッジ ポイントと最も近いポイントの間の距離。距離が大きいほど、エッジである可能性が高く、対応する重みも大きくなります)
この記事の基本的な前提は、キャリブレーション パラメーターが正しい場合、点群のライン フィーチャは画像のライン フィーチャに対してより高い応答を示すということです。さらに、この記事では、LiDAR とカメラの内部パラメータが正しく調整され、データが同期されていることを前提としています。
B 画像処理
まずRGBをグレースケールに変換し、[ Lsd: 線分検出器]を使用して線特徴を抽出します。次に、距離変換モデルがこれらのグレースケール画像に適用されます。図 3(c) のラインの特徴はより規則的であり、グレー値の変更要件 (エッジ抽出に必要なハイパーパラメーター) が小さく、より大きな検索ステップを許容できるため、最適化が局所的な極端に陥ることを回避できます。
C LiDAR処理
LiDAR は主に距離の連続性を使用してエッジ ラインの特徴を取得します。この記事では、ローカル マッピング手法を使用して点群の 3 つのフレームを結合し、1 つのフレームでより多くの点を取得できるようにします。NDT 法を使用して、3 つのフレームの相対運動を計算します。図4は、マルチフレーム点群とシングルフレーム点群のエッジ点抽出効果を示しており、特にLiDARラインビームが低い場合に、マルチフレーム点群がライン特徴抽出の効果を向上できることを示しています。
次に、密集した点群は画像形式に変換され、各ピクセルは対応する点群の距離情報 (距離画像) を保存します。現在の点と隣接する点との距離を比較することで、より正確な線特徴を抽出することができ、隣接する点に近い外れ値の点を排除します。【カメラやレーザーのオンライン自動校正】とは異なり、1本のビームではなく複数のワイヤーハーネスを使用します。これにより、水平フィーチャを抽出でき、ライン フィーチャを使用して水平および垂直エラーを最小限に抑えることができます。水平線フィーチャと垂直線フィーチャは、異なる点群に保存されます。飛行機の幸運はめったに発生しないため、ここでは無視され、計算量を減らすこともできます。
D 特徴フィルター
上記の方法で抽出された線特徴は乱れているため、外部点の抽出には 2 つの方法が使用されます。点群は距離画像に変換されるため、コンボリューション カーネルを使用して、8 つの隣接する点からの距離が特定のしきい値より大きい点をフィルタリングして除外します。この方法では、外部ポイントと接地ポイントをフィルタリングして除外できます。残りのポイントはライン フィーチャとして扱うことができます。
次に、クラスタリング手法を使用して、隣接する点がほとんどないライン特徴点を除外します。
これら 2 つの手順により、より規則的な点群ライン フィーチャが抽出され、その後の最適化でより良い結果が得られます。
画像内の線フィーチャは、8 ピクセル未満のフィーチャを除外します。
E 適応最適化
最適化する際には計算量と計算精度を考慮する必要があります。最適化の前に、LiDAR のライン フィーチャが画像に投影され、グレースケール領域 (???) に投影された LiDAR ポイントの割合が計算されます。
図 6 に示すように、精度を計算するために、より正確な結果を得るために 2 つの検索ステップが実行されます。まず、探索が局所的な最適解に陥るのを避けるために、画像ラインを広くし、グレースケールの変化を小さくし、補正を比較的大きくする粗い探索方法を採用して、最適解を含む領域を迅速に見つけます。次に、より正確なキャリブレーション結果を得るために、より細かい画像ラインの特徴、より大きなグレースケール変化、およびより小さな検索ステップ サイズが採用されます。2 つの部分におけるスケールの切り替えとグレースケールの変更は、グレースケール領域に投影された点群の割合 (割合、計算方法???) が特定のしきい値を超えた後に発生します。
計算効率を高めるために、この論文では最適化を正しい方向に維持するための適応手法を採用しています。[カメラとレーザーの自動オンラインキャリブレーション] では、729 個の異なる値を操作して関数スコアを取得しますが、この方法は一部の手順が冗長であるため効率的ではありません。この論文では、目的関数を最適化するために探索方法を使用します。現在のスコアを隣接する 728 のスコアと比較します。このプロセス中に、日本の平和検索プログラムは、外部パラメータのスコアが高いことを発見し、現在の検索ステップを一時停止し、より高いスコアの位置から新しい検索を開始します。検索プロセスは、最大反復回数に達するか、最良のスコアが見つかった後に停止するため、計算効率が向上します。スライディングウィンドウ方式も使用します。この記事では、最適化探索が間違った方向に進んだり、局所的な最適解に陥ったりするのを防ぐために、3 フレームの点群を使用します。したがって、最終的な最適化パラメータは、スライディング ウィンドウのすべてのフレームで最適である必要があります。
全体として、2 つのステップにより、より堅牢で正確な結果が生成され、終了戦略によりキャリブレーションの速度も向上します。Algorithm1 などのアルゴリズム。
