目次
3 マーカーフリーの自動 LiDAR カメラキャリブレーション
まとめ
LiDAR とカメラのキャリブレーションは非常に重要ですが、従来の方法では特定のマーカーに依存するか、手動による介入が必要であり、非常に不便です。この記事では、マーカーフリーの LiDAR カメラ自動キャリブレーション方法に関する詳細なレポートを提供します｡この方法は主に、情報理論に基づく、特徴量、自己運動、深層学習の 4 つのカテゴリに分類されます。
3 マーカーフリーの自動 LiDAR カメラキャリブレーション
3.1 情報理論に基づく
2 つのモダリティ間のいくつかの共通特性の結合ヒストグラム値間の統計的類似性を測定します。
外部パラメータは主にレーダーカメラ間の情報類似度変換を最大化することによって推定され、類似度にはさまざまな情報尺度が含まれます。基本的なルールは以下の通りで、主な目的は点群を T に従って画像座標系に投影し、2 つの画像の情報 IM を解くことです。
上記の方法は主に次の 3 つのステップに分かれています。
1) LiDAR ポイントの 3D->2D 投影: 外部パラメータ T を使用
2) 統計的類似度推定:IM は主に、LiDAR 点投影によって得られた画像とターゲット画像の間の統計的類似度を推定します。2 つの特徴分布の一部は類似しているため、異なる特徴の選択と統計的特徴の選択により、異なるキャリブレーション方法が得られます。
3) 最適化: IM の統計的推定は一般に非凸問題であるため、全体的な最適解を取得するには最適化アルゴリズムが必要です。典型的なプロセスを図 3 に示します。
レーダー カメラには、同様に分散された複数のプロパティがあることがわかります。たとえば、反射率の高いレーダー ポイントは画像内の明るい表面に対応することが多く、反射率の低いレーダー ポイントは画像内の暗い領域に対応します。レーダーの反射率とカメラの強度の間の相関関係も、2 つの間の類似性を推定するためによく使用されます。レーダー点群やカメラ画像から抽出された勾配の大きさと方位も使用できます。
3.1.1 点群とカメラの属性ペア
1) 反射強度 - 階調値
2) 平面法線ベクトル - グレー値: 環境内の光源のため、表面法線ベクトルは画像内の対応するピクセルのグレー値に影響します。
3) グラデーションのサイズと方向 - グラデーションのサイズと方向: 2 つのマルチモーダル画像を比較するとき、一方の画像のピクセル値が周囲と大きく異なる場合、もう一方のモダリティの対応する画像の対応する領域も変化します。劇的に。2D 画像の勾配のサイズと方向はソーベル オペレーターを使用して計算できます。一方、レーダー点群の各ピクセルは最初に球に投影でき、その勾配は 8 つの最近傍点を使用して計算できます [マルチモーダル センサー]勾配配向測定を使用したキャリブレーション]
4) 3D 意味ラベル - 2D 意味ラベル: 対応する領域の意味ラベルが一貫しているため。深層学習を使用してセマンティックタグを取得できます
5) 3D-2D 属性ペアの関連付け: いくつかの論文では、複数の特徴を使用すると融合効果が向上し、異なる属性が正しい重みを使用して融合されることがわかっています。これらの属性セットでは、前述の複数の属性ペアがよく使用されます。
3.1.2 統計的類似性の推定
1) 相互情報量 (MI): MI は、2 つの確率変数または情報量間の統計的相関を推定します。シャノンのエントロピー定理によれば、MI は次のように定義されます。
つまり、個々のエントロピーの合計から結合エントロピーを引いたものです。
ここで、p はそれぞれ周辺確率と結合確率を表します。実際には、レーダーの反射値とピクセルの強度値を 2 つの確率変数 X と Y として使用できます。次に、カーネル密度推定 (KDE) などのいくつかの方法を使用して、2 つの確率分布を計算できます [多変量密度推定: 理論、実践、視覚化]
2) 正規化相互情報 (NMI): MI は、2 つの間の情報の総量によって影響を受けます。前述のレーダーカメラに対応した相似変換ではMI推定値が大きくなる場合がありますが、NMIではMI値を正規化することでこの問題を解決します。
3) 勾配方向測定 (GOM): 2 つの画像の勾配方向を計算し、勾配値を重みとして使用することもできます。GOM と NMI の主な違いは、GOM では強度の代わりにポイントの勾配が使用されるため、隣接するポイントと画像の幾何学的特徴が考慮されることです。
4) 正規化情報距離 (NID): これは、異なるモダリティのセンサーを照合するために使用できる類似性測定方法です。2枚の画像の合計情報量に依存しないため、正規化特性もMIより優れています。したがって、2 つの高テクスチャ画像領域の全体的な画像位置合わせには害がありません。
5) Bagged Least-squares Mutual Information (BLSMI): カーネルベースの依存関係推定器とブートストラップ集約ノイズ抑制方法が含まれています。MI と比較すると、対数を含まないため、外部点に対してより堅牢であるという利点があります。
6) 方向性勾配の相互情報とヒストグラム間の距離: NMI と方向性勾配間の距離を組み合わせて、画像間の一貫性を推定する測定方法です。
画像が芸術的ではない場合はNMI よりも DHOG の方が優れていますが、画像が芸術的である場合は NMI の方が正確であるため、MIDHOG はさまざまなシーンで両方のプロパティを継承できます。
7) 相互情報量ニューラル推定 (MINE): ニューラル ネットワークを使用して、高次元連続確率変数の相互情報量を推定します。スケーラブルで柔軟性があり、バックプロップ経由でトレーニング可能です。相互情報量の推定、最大化、最小化に使用できます。
MINE は、ドンスカーとバラダンの双対性を使用して MI を表現します。
はニューラル ネットワークであり、
はニューラル ネットワークのパラメータです。
3.1.3 最適化手法
3.2 機能ベース
環境から幾何学的、意味論的、または動きの特徴を抽出します
幾何学的特徴は主に、環境内の点やエッジなどの幾何学的特徴から構築されます。セマンティック特徴は主に、地平線、車両、電柱などの高レベルのデータ情報です。モーション特徴は、姿勢、速度、加速度などのモーション特性を使用します。
特徴ベースの手法は、主に特徴抽出、特徴マッチング、外部パラメータ推定に分けられます。
3.2.1 特徴抽出
1) 点特徴抽出
フォースナー演算子:
コーナー: Sobel オペレーターなどのエッジ検出器を使用できます。これは、点群投影だけでなく、画像の強度マップでも使用できます。
SIFT:バリアントSURFもございます。
2) エッジ特徴抽出
深さの連続性と強度の値の差: 隣接するポイントとの深さの差を計算し、深さの差がしきい値より小さいポイントを削除します。最初に点群をアップサンプリングしてから、深度勾配の変化を計算することもできます。形状変化を検出することで画像内のエッジを抽出することもできます。一般的な仮定は、レーダーと点群のエッジの間に 1 対 1 の対応があるということです。
深度連続性 - ソーベル オペレーター: 点群は深度連続性を使用してエッジを抽出しますが、画像ではソーベル オペレーター、キャニー検出器、または LSD アルゴリズムを使用できます。特に、Canny エッジ検出器は、ノイズ抑制、強度勾配推定、非最大抑制、ヒステリシス閾値法などのステップを含む多段階アルゴリズムを使用して、より広範囲のエッジを検出します。LSD は、グレースケール画像における勾配ベースのエッジ抽出方法です。
3Dラインディテクタ-LSD
深い連続性 - Canny 検出器
上述の深度連続エッジは、固体レーダーなどの高密度点群を通じて抽出できます。特に、たとえば、平面交差の変化は、ボクセル分割および平面フィッティングを通じて取得できます。
深い連続性-L-CNN
3) 意味的特徴抽出
実際の環境には同様の線が多数存在するため、キャリブレーションの難易度が高くなることに注意してください。つまり、スカイライン、車両、車線などのセマンティックな特徴です。
スカイライン-スカイライン
車線と極地-車線と極地
3Dセマンティックセンター～2Dセマンティックセンター：主にディープラーニングを使用
4) 動き特徴抽出
動きの軌跡 - 動きの軌跡: レーダー カメラの軌跡を個別に取得でき、2 つを登録してレーダー カメラのキャリブレーションを完了できます。
3.2.2 特徴マッチング戦略
記述子の類似性: ブルート フォース マッチング、最近傍検索。ユークリッド距離をメトリックとして使用できます。RANSAC を使用して、不正確に一致した点のペアを排除する必要があります。
空間幾何学的関係: 空間セットの関連付けおよび最適化手法を直接使用して、2 つのフィーチャ間の関係を構築します。
意味的関係: 意味的レベルを通じて一致します。たとえば、同じ車両上のポイントを一致させることができます。
軌道関係：軌道を同時に合わせることができ、速度や曲率も合わせることができます。
3.3 自分の動きに基づく
3.3.1 ハンドアイキャリブレーション
AX=XB
洗練: (焦点を当てる)
1) エッジの位置合わせ: ライン フィーチャの制約
2) 強度マッチング: 一部の記事では、相互情報量測定方法を通じてレーダー反射率とカメラ画像強度を調整します。
3) 深度マッチング: レーダー深度マップは初期外部パラメータを使用して画像に投影し、カメラ深度マップは単眼深度推定を使用します。
4) カラー マッチング: これは、点群内の点が 2 つの連続したフレームで同じ色を持つことを前提としています。まず、点群が現在の画像に投影されて対応する色が取得され、次に点群が動き情報に基づいて画像の次のフレームに投影されます。2 つのフレーム間の平均差を最小限に抑えることで、より正確な外部パラメータを取得できます。
5) 3D-2D ポイント マッチング: 2D フィーチャの 3D 座標は三角測量によって取得され、結果は非線形最適化を使用します。(SFM)
3.3.2 3次元構造推定
動画から環境の 3D 構造を復元する、つまり SFM。次に、バンドル ブロック調整の調整である ICP などの登録方法を使用します。相互情報はグローバルな改良にも使用できます。
SFM、ICP 粗マッチングの後、3D レーダー ポイントが画像に投影され、エッジ特徴点を使用した最適化が行われます。
SFM には十分なポイントがなく、ICP の精度が十分ではないため、この記事では、セマンティック特徴から自己調整する方法も設計し、同じターゲット ペアの重複領域を最大化します。
ターゲット レベルの登録方法が使用されます。つまり、SFM は最初にポイントを取得し、次にターゲットの検出結果に基づいてターゲット レベルの位置合わせを導入します。
一部の記事では、ポイント ICP を使用してターゲット レベルのレジストレーション後のレジストレーション エラーを排除し、不均一有理基底スプライン近似に基づく曲線ベースの非剛体点群レジストレーション調整ステップを導入しています (曲線ベースの非剛体点を導入しています)。雲登録改良ステップ) - 不均一有理基底スプライン近似に基づいて構築された剛体点群登録改良ステップ。 )
3.3.3 その他の方法
移動中の車両から取得したビデオとレーダー データを関連付けてみます。初期の外部パラメータは IMU モーション信号から取得され、カメラ レーダーの輪郭を登録することで調整されます。
自己動作評価をレーダー カメラのキャリブレーションに統合するために、レーダーと融合したビジュアル オドメトリ フレームワークが開発されました。主なアイデアは、外部パラメータの品質がエゴモーションのパフォーマンスに影響を与えるということです。
ガウス ノイズの仮定の下で、ガウス-ヘルマート モデルを使用してレーダー カメラの外部パラメータを校正します。単一センサーの動きの制約を考慮して、Guass-Helmert パラダイムを使用して外部パラメーターを共同最適化し、姿勢観察エラーを削減します。
動き指向の手法が提案されており、一連の同期されたレーダーカメラデータが与えられると、各センサーの動きベクトルが個別に計算され、外部パラメータが推定されます。
外部パラメータ校正にモーション情報を使用する場合、全方向および全軸での十分なモーションが必要です。センサーが平面内で移動する場合、一部のパラメーターは認識できません。[移動ロボット用の自動マルチセンサー外部キャリブレーション] センサーの増分動作から 2D パラメーター (x、y、ヨー) を計算し、地上推定値 (z、ピッチ、ロール) を使用します。
デュアル クォータニオン (DQ) を使用すると、より少ないパラメータで回転と平行移動を表現できます。最適化を平面キャリブレーションに限定し、ローカル最適化手法とグローバル最適化手法を組み合わせて最終結果を推定します。
3.4 深層学習に基づく手法
ニューラル ネットワーク モデルを使用して外部パラメーターを評価する