古典文学の読書 -- VIP-SLAM (密結合 RGB-D 視覚慣性平面 SLAM)

0. はじめに

既存のビジュアル SLAM アルゴリズムの多くは依然としてマップの確立を完了するための特徴抽出手法に基づいていますが、RGB-D センサーのアルゴリズムは依然として主に疎点 SLAM システムに基づいており、これにより密な点群マップの構築が可能になります。環境をモデル化するには、マップ ポイントの数を維持する必要があります。マップ ポイントの数が多いと計算が非常に複雑になり、モバイル デバイスへの展開が困難になります。一方、飛行機は人工環境、特に屋内環境では一般的な構造物です。通常、少数の平面で大きなシーンを表現できます。記事「VIP-SLAM: 効率的な密結合 RGB-D ビジュアル慣性平面 SLAM」では、まばらなポイントベースの SLAM の高度な複雑性を軽減することで、この問題を解決しています。複数の平面とマップ ポイントで構成される軽量のバックエンド マッピングを構築し、同等以上の精度で効率的なバンドル調整 (BA) を実現します。最適化プロセス中に、ホモグラフィー制約を使用して複数の平面点のパラメーターが削除され、BA の複雑さが軽減されます。ホモグラフィー制約とポイントツープレーン制約のパラメーターと測定値が分離され、測定部分が圧縮されて、BA の速度がさらに効果的に向上します。また、堅牢な平面特徴抽出、データ関連付け、およびグローバルに一貫した平面再構築のために、平面情報をシステム全体に統合します。

1. 主な貢献

この論文に先立って、融合 IMU に関する多くの研究があり、IMU がシステムの堅牢性の向上に役立ち、構造化プレーンがシステムの精度と堅牢性の向上に役立つことを示しています。さらに、平面は、ライン フィーチャやポイント フィーチャよりも少ないパラメータを使用して環境をモデル化できます。これをもとに、複数のセンサーの特性を活かし、IMU、RGB、Depth、Plane情報を統合した高堅牢かつ高精度なシステムを提案します。この論文には 3 つの貢献があります。

1. 我々はまず、RGB、深度、IMU、構造化平面情報を融合するための、完全に密結合したマルチセンサー融合 SLAM システムを提案します。すべての情報を統合された非線形最適化フレームワークに統合して、キーフレームのポーズ、IMU 状態、点、平面のパラメーターを共同で最適化します。

2. 平面情報を導入してマップ ポイントの数を減らし、BA の最適化を高速化します。ホモグラフィーを使用して、最適化プロセスのその時点での状態を削除し、同時に複数の制約を 1 つに圧縮します。これらの手段により最適化時間が短縮されます。図 4(a) と図 4(b) はこのプロセスを示しています。

3. 平面情報をSLAMシステム全体に統合し、高精度なトラッキングを実現します。純粋に幾何学的な単一フレームの点対平面制約を使用して、テクスチャなしのシーン平面推定の精度と安定性を向上させます。さらに、平面点の再投影をホモグラフィー制約に変換して、複数のフレームと平面間の関係を確立し、ドリフトをさらに修正します。

2. システム概要

図 2 に提案システムの概要を示す。私たちのシステムは RGB、深度、IMU を入力として受け取り、フロントエンド、平面モジュール、バックエンドを含む 3 つの主要コンポーネントを備えています。
フロントエンド モジュールは、リアルタイムで 6-DoF ポーズを推定できるスライディング ウィンドウ ベースの VIO システムです。私たちの VIO は、SLAM 機能を考慮せず、深さの尺度を追加することを除いて、[7] に似ています。
フラット モジュールは、フロントエンド データとバックエンド データを入力として受け取ります。高周波フロントエンド情報は拡張プレーンにのみ使用されます。低頻度だが高精度のバックエンド情報は、新しいプレーンの検出、プレーンの拡張、ポイントとプレーンの関連付け、およびプレーンとプレーンのマージに使用されます。屋内環境のほとんどの面は水平または垂直であるため、水平面と垂直面の検出のみを考慮します。ただし、プレーンに関する融合の最適化はプレーン全般に適用されます。
バックエンド モジュールは、ローカル バンドル調整 (LBA) またはグローバル バンドル調整 (GBA) を使用して、プレーン、ポイント、IMU 状態、およびキーフレーム ポーズを共同で最適化し、フロントエンド ポーズのドリフトを修正します。

3. 記事中の各種記号

まず、この論文で使用される表記法を定義します。させていただきます$(\cdot {)}^W$は世界座標系とみなします。$(\cdot {)}^C$はカメラ座標系です。$(\cdot {)}^{I\; は}$IMU 座標系です。T ∈ SE ( 3 ) T ∈ SE(3)を使用します。$T\in SE\left(3\right)$は、回転$R\in SO\left(3\right)$と変換$t\in R^3$の構成。π = [ n ; d ] T π=[n;d]^T を使用します。$円周率=[n;d{]}^{T\; は}$平面を意味し、$n$は平面法線、$d$は原点と平面の間の距離です。CP[28] ベクトルを使用して平面$\pi$、つまり$の=XX\_$ _$X$は、姿勢、速度、IMU バイアス、点および平面ランドマークを含む、推定される状態です。

4. フロントエンド

新しい画像を受信すると、ORB 特徴 [1] ポイントを検出し、対応する記述子を計算します。まず、KLT を使用して前の画像から現在の画像まで追跡します。次に、3D 情報を含む特徴を現在の画像に投影し、ハミング距離を使用して最も近い ORB 特徴点を見つけます。残りの特徴は、KLT 追跡の結果を初期値として使用して最良の観測値を見つけることによって照合されます。最後に、RANSAC ベースの基本行列を使用して外れ値を除去します。
動き推定は、RGB、深度、IMU を緊密に統合するスライディング ウィンドウ VIO に基づいています。私たちの VIO は [7] に似ており、逆平方根フィルターを使用してすべての測定値を融合します。主な違いは、SLAM 機能を考慮せず、視覚的な測定に深度情報を追加することです。

5. 平面の認識と関連付け

5.1 平面の検出と結合

平面検出 平面モジュールは、バックエンド データを使用してのみ平面を検出できます。平面が検出されると、平面モジュールはフロントエンドとバックエンドのデータを使用して平面を拡張し、その平面を地図のランドマークに関連付けます。[17] と同様に、ドロネー三角形分割を使用して 3D メッシュとヒストグラムを作成し、平面を検出します。メッシュの法線ベクトルが重力に対して垂直か平行かをチェックすることによってのみ、垂直面と水平面を検出します。当社の平面モジュールは、平面精度を向上させるためにいくつかの追加方法を採用しています。ヒストグラムから平面が検出されると、ヒストグラムのスケール値を直接使用する代わりに、ヒストグラム内のデータと 3D 平面点を使用してパラメーターを調整します。水平面の場合は、単に$n=[0,0、1{]}^T$を使用して、平面距離を平面点の Z 軸の平均として設定します。垂直面については、$n=[n_{}、n_{}、0{]}^{T\; を}$計算し、次の方程式を使用して垂直面パラメータを調整します。

ここで、$n$は平面点の数、$P_{f_{}}^{}$世界座標系のkk 番目です$k\; 個$のランドマーク${\bar{P}}_{f_{}}^{}=\left[P_{f_{}}^{}\right(0)、P_{f_{}}^{}(1){]}^{T.\_}$ _ QR 分解を使用して式 (1) を解きます。平面パラメータが検出されると、その平面を角度と距離によって 3D メッシュに関連付けることができます。角度と距離のしきい値は約 10 度、5 cm です。図 3 にこのプロセスを示します。

図 3. 平面検出: (a) 2D グリッド。(b) 3D グリッド。赤と青の領域はそれぞれ水平グリッドと垂直グリッドを示します。© 垂直面は黄色、水平面は灰色です。

5.2 点と平面の関連付け

3D グリッドを使用して、より多くのマップ ポイントを平面に関連付けます。深度マップ内の 3D メッシュが平面に関連付けられると、その 2D メッシュが見つかります。マップ ポイントの 2D 座標が 2D グリッド内にあり、平面からのマップ ポイントの距離が 10 cm 未満の場合は、マップ ポイントを平面に関連付けられた候補セットに追加します。候補セット上の点が 3 つを超えるキーフレームで観察された場合、その幾何学的一貫性がチェックされます。点の再投影誤差を計算し、その点を強制的に平面に関連付けてから、別の再投影誤差を計算します。2 つの再投影誤差が類似しており、最大再投影誤差が特定のしきい値を下回っている場合、その点は平面点とみなされます。点が幾何学的整合性チェックに複数回失敗した場合、その点は候補点のセットから削除されます。

図 4. 最適化問題。(a) と (b) は、ホモグラフィ制約を圧縮する前と後のファクター グラフです。© はグローバルな BA 問題です。

6. バックエンドの最適化

6.1 測定値

IMU とポイント特徴の測定: 2 つの連続するキーフレーム間の IMU データは、事前統合方法 [8]、[9] を使用して処理されます。[9] と同様に、事前に統合された IMU データに基づいてコスト項を定義します。深度マップは有効であるため、視点特徴の測定に深度情報を統合します。

…詳しくは顧岳州を参照