序章
DM-VIO: 遅延マージナライゼーション視覚慣性オドメトリ
DM-VIO: 遅延マージナライゼーション視覚慣性オドメトリ
この論文を翻訳するには、鼻をつまむだけで 2 日かかりました。多くの用語や状態の表現は、チームの以前の作品である DSO および VI-DSO と一致している可能性があり、非常に手間がかかりそうです。その後、論文全体を翻訳した後でも、文章はまだ残っているように感じますこの論文を読む前に、DSO と VI-DSO について相対的に理解することがより適切であると推定されます。
翻訳の過程で原文の意味から逸脱し、参考にならない表現が多数あるため、この記事は勉強用のメモとしてのみ使用してください。。。
0. 概要
この記事では、遅延周辺化とポーズ グラフ BA という 2 つの新しい技術を使用する DM-VIO (遅延周辺化に基づく単眼視覚慣性オドメトリ) を提案します。DM-VIO は、視覚的な残差を計算するときに動的重みに基づく光学 BA を使用します。システムは更新時間を制限するために周縁化という一般的な戦略 ( 限制更新时间是什么意思？？？边缘化在VIO的作用是将滑窗中较老的帧移除并将其位姿转为其他帧估计的先验信息) を採用しますが、この周縁化は元に戻すことができず、周縁化が完了すると、周縁化点の線形化点 ( ) は一阶泰勒展开点固定されます (線形化点の不一致が発生します)。 。この問題を解決するために、この記事では、疎外を遅らせることができるように第 2 因子グラフを維持するという、遅延疎外戦略を提案しています。この戦略により、後で遅延グラフに再入力するときに、一貫した線形化ポイントを持つ新しい周辺化事前分布を取得することが可能になります。さらに、遅延周縁化戦略により、すでに周縁化された状態量に IMU 情報を追加することができます。これは、IMU の初期化に使用する、提案されたポーズ グラフ バンドル調整の基礎です。これにより、測光の不確実性が完全に把握され、以前の IMU 初期化作業と比較してスケール推定が向上します。初期には観測できないスケールの問題に対処するために、IMU の初期化が完了した後も、主システムのスケールと重力方向の最適化を継続します。私たちは、EuRoC、TUM-VI、および 4Seasons データセットでシステムを評価します。これらのデータセットには、飛行するドローン、ハンドヘルド デバイス、および車両の大規模なシーンが含まれます。提案された IMU 初期化のおかげで、私たちのシステムは視覚慣性オドメトリに関する最先端の研究を上回っており、1 台のカメラと IMU だけを使用した場合でも両眼慣性法を上回っています。コードはvision.in.tum.de/dm-vioで公開されます。
1 はじめに
視覚的 (慣性) オドメトリは、ロボット工学、自動運転、拡張現実でますます使用されています。これらのタスクでは、カメラと慣性測定ユニット (IMU) の組み合わせが一般的であり、2 種類のセンサーが相互に補完し合うことで、高精度で堅牢なシステムが実現します。単眼カメラ + IMU の最小構成の場合、IMU を使用してリアル スケール情報を復元することもできます。ただし、このスケーリングは常に感知できるわけではなく、劣化の最も一般的なケースは等速運動です ( 恒速运动时加速度为0,无法形成有效约束)。したがって、このタイプのシステム (VIO) の初期化時間は比較的長くなる可能性があり、実際の動作状況によって異なります。熱心に初期化すると、初期値の計算に影響し、その後の推定 ( ) のパフォーマンスに影響します对于单目VIO来说一个好的初始化结果十分重要，因为后面的估计都是基于初始化结果进行计算的，如果一开始的值偏差就比较大，在后续跟踪时会影响到最优估计的收敛。この問題は、従来の単眼 VIO よりも双眼カメラ + VIO システムが優れている理由でもあります。
以前のシステム (vins-mono、orb-slam3 など) のほとんどは、初期化中にビジュアル オドメトリと IMU の初期化を並行して (個別に) 実装し、ビジュアル オドメトリと慣性オドメトリが正常に初期化された後に視覚慣性システムを実行します。 . . ただし、初期化時間と初期化時のパフォーマンスがトレードオフになるため、初期化時間はできるだけ短くする必要がありますが、短すぎると十分なスケール情報が取得できなくなります。
VI-DSO [6] は任意のスケールでオンザフライで初期化され、ホスト システムのスケールを明示的に最適化します。これにより、非常に正確なスケール推定値を生成できますが、このアプローチでは、スケールが正しく推定されるまでに大幅な時間コストが追加される可能性があります。さらに、大規模な屋外環境での動き推定など、初期スケール誤差が非常に大きい状況でもシステムが失敗する可能性があります。
私たちは、これら 2 つの戦略の組み合わせを提案します。前者と同様に、IMU 初期化スレッドを並行して実行しながら、ビジュアル オドメトリ システムから開始します。ただし、IMU が初期化された後も、メイン システムの明示的な最適化変数 ( ) としてスケールと重力方向を推定する不明白？哪里结合了，反而有点向vins，在视觉和惯性分别初始化后进行视觉惯性对齐ため、システムは迅速に収束し、より正確な推定値を取得できます。
この初期化戦略は、次の 3 つの問題を引き起こす可能性があります。
- IMU イニシャライザで視覚的な不確実性を適切にキャプチャする方法。
- スケールおよび IMU 変数に関する情報を IMU イニシャライザーからメイン システムに転送するにはどうすればよいですか?
- 規模の推定値が異なる場合、一貫した疎化事前分布をどのように維持できるでしょうか?
VI-DSO [6] は、動的な周縁化を導入することで 3 を解決しようとしています。これにより、確かに周縁化要因の一貫性が保たれますが、その過程で失われる情報が多すぎます。
この記事では遅延限界化を提案しており、上記の 3 つの問題は比較的うまく解決されています。この方法は主に 2 番目 (位姿图？？？不明) を維持するためのものであり、ポーズ グラフは遅延限界化に使用されます。この方法は、少量の計算オーバーヘッドのみを必要としますが、次の 3 つの主要なテクノロジを実現します。
- IMU 係数を遅延係数グラフに追加して、提案されたポーズ グラフ BA(
需明确是如何加入的)を実行します。 - IMU 初期化のためのこの遅延周縁化係数マップは周縁化を解除することができ、メイン システムの IMU 情報を含む周縁化事前設定を提供します。
- メインシステムの規模が大きく変わった場合、周縁化された事前アップデートが可能です（
trigger marginalization replacement今のところどういう意味かわかりませんが）
上記の 3 つの手法に基づいて、非常に正確な初期化を取得でき、長期の観測不可能性に対しても堅牢にすることができます ( ？？？)。上記の考えに基づいて、動的重みを統合する光学フロントエンドを実装する視覚慣性オドメトリ システムを提案します。
私たちは、航空機で記録された EUROC データセット、手持ちカメラで記録された TUM-VI データセット、および 4SEASON データセットという 3 つの困難なデータセットで提案された方法を評価します。後者は、長時間にわたって速度が一定であるため、単一慣性オドメトリに特別な課題をもたらします。
私たちが提案したシステムの性能は、慣性視覚オドメトリの中で最高であり、一部の両眼式慣性視覚オドメトリをも上回っています。この論文の主な貢献は次のとおりです。
- 疎外の利点を維持しながら疎外の欠点を補うために、遅延疎外戦略が提案されています (
线性化点早期固定带来的不一致问题) - ポーズ グラフ バンドル調整 (PGBA) は、ポーズ グラフ最適化の効率と完全なバンドル調整の不確実性を組み合わせます。(
需要进行理解) - 新しいマルチステージ IMU イニシャライザと動的重み付け測光係数を備えた最先端の視覚慣性オドメトリ システム。(
需要进行理解)
2.関連作品
初期のビジュアル オドメトリおよび SLAM システムのほとんどは、機能ベースの方法を使用し、バックエンドにはフィルタリング方法または非線形最適化を使用していました。その後、測光誤差関数を最適化することで状態推定を達成する直接法が提案されました。この直接法は、密、半密、疎の点群で動作します。
MSCKF アルゴリズムは、視覚的測定と慣性測定を組み合わせることでオドメトリの精度とロバスト性を大幅に向上できることを示しており、カメラと IMU の密結合に基づく多くの視覚的オドメトリおよび SLAM システムが提案されています。
スケールを観察するには十分な動きが必要なため、単眼の視覚慣性システムの初期化は簡単ではありません。ほとんどのシステムは、最初にビジョンのみの初期化を実行し、ビジョンの結果を使用して IMU の初期化を完了します。これらのシステムと比較して、直接ホスト システムのスケール情報を最適化することを選択します。ORB-SLAM3 システムは初期化後もスケールの最適化を継続することがわかりましたが、これは以前のすべてのポーズを調整する別の最適化ですが、最適化操作は初期化後 75 秒以内に完了する必要があります。[23] も、メイン システムでスケール情報の最適化を続けることを選択しましたが、メイン システムとイニシャライザの間の共分散を転送する方法がないため、同じレベルの精度を達成できません。これらすべてのシステムとは異なり、提案された遅延限界化により、IMU イニシャライザーは視覚的な不確実性を完全に把握し、メイン システムのスケールを継続的に最適化できます。
VI-DSO は、任意のスケールで初期化され、ホスト システム内のスケール情報を最適化します。また、動的マージナライゼーションを使用して、ホスト システム内の大規模なスケール変更を処理します。VI-DSO と比較して、動的周辺化を遅延周辺化 (動的幅誤差の重み) に置き換える独立した IMU イニシャライザを提案します。これにより、システム推定がより正確かつ堅牢になります。
3. 研究方法
3.1 いくつかの記号の定義
いくつかのシンボルの表現を定義します。ポーズはワールド座標系からカメラ座標系を指します。
3.2 直接法による視覚慣性BA
DM-VIO の核心は、すべてのキーフレームの視覚慣性ジョイント BA です。通常行われているように、同じコスト関数で視覚推定量と IMU 推定量の両方を最適化します。視覚部分の残差については、DSO の直接法計算手法を使用します。IMU データを BA に統合するには、2 つのキーフレーム間の IMU データを事前に統合するプロセスを採用します。
LM アルゴリズムを使用して、次のコスト関数を最適化します。
これには、E_prior最初のフレームのポーズ、重力方向、およびセクション III.C で提案された周縁化された事前分布が含まれています。以下では、エネルギー項 ( 残差？？？) と最適化状態変数について説明します。
測光誤差:測光誤差関数は DSO アルゴリズムに基づいています。一連のアクティブなキーフレーム F を最適化し、各キーフレームには一連の特徴点 P_i( 这里应该指的是对应的空间点吧？？) が含まれ、各点はその点が観察できるキーフレームに投影され、測光誤差は次の式で計算できます
。コスト関数の場合は DSO を確認する必要があります。
動的光学ウェイト:上の方程式の 3 番目の項には、最初のポーズの前の重力方向が含まれます。画質が悪い場合、システムは主に慣性データに依存する必要があります。ただし、画質が低いと、使用される測光コスト関数が原因で測光残差が非常に大きくなることがよくあります。IMU と比較して、測光の重みが大幅に増加します。これを解決するために、動的測光誤差重みを使用します。
ここで、λ は静的な重み成分、θ は誤差依存の重みを有効にするためのしきい値です。これは、しきい値ロバストコスト関数 [25] と同様に、二乗平均測光誤差を効果的に最大値 λθ に正規化します。測光の仮定に違反する個々の点に重みを付ける式 (3) のフーバー ノルムとは対照的に、この重みは全体的な画質の低下の原因となり、IMU の相対的な重みが増加します。私たちの実験では、θ = 8 を選択します。
最適化変数:明示的な変数としてスケールと重力方向を最適化しました。BA は原則としてスケールとグローバル方向を変更することもできますが、明示的に最適化すると収束が向上します [6]。さらに、画像フレーム V の視覚因子の姿勢と、IMU フレーム I の IMU 因子の姿勢を示します。IMU フレームにはメートル法の実スケールと重力の方向に合わせた Z 軸があります。つまり、視覚イメージ フレームには任意のスケールと回転を設定できます。これらはビジョン システム () の初期化中に定義されます因为视觉部分在定义之后会通过IMU数据对齐尺度和重力方向。この変数をモデル化するには、s と回転行列 R_V_I を使用します。IMU にとって YAW 角度は重要ではないため、最も近い R_V_I 座標系を固定します。次の式を使用して座標系を変換します。
ここで、S_I_Vは sim(3) の要素であり、回転、平行移動、スケール情報が含まれます。他の変数も sim(3) に変換されますが、最終結果 ( 什么的结果？？？？) はスケール 1 を持ち、SE(3) の要素になります。
完全な最適化変数は次のとおりです。
ここで、 s_i はすべてのキーフレームの状態であり、次のように定義されます。
ここで、v_i はキー フレームに対応する速度情報、b_i はバイアス ( ？？？？什么的偏置，加速计和陀螺仪的吗？？是一个几维向量？？)、a_i と b_i はアフィン変換の輝度パラメータ、d はキー フレーム内のアクティブ ポイントの逆深度情報を表します。フォトメトリック残差の最適化は、DSO のカスタム統合 SIMD アクセラレーション コードを使用して実装され、その他の要素は GTSAM を使用して最適化されます。
IMU エラー: [26] で提案された方法を使用して IMU データを事前に統合し、それを [27] と同様にスマート係数として使用し、さらに改良します。IMU のエラーに関して、IMU の状態を次の形式で定義します。
imu の状態は、式 5 の状態 s を最適化することによって取得されます。時間 i での IMU データが与えられると、事前積分を通じて時間 j での以前の状態と対応する共分散を取得できます。結果として得られる慣性誤差関数は、予測状態からの現在の状態推定値の偏差にペナルティを与えます。
3.3 シュール補体に基づく部分的周縁化
Shure パディングを使用して古い変数を周辺化します。集合 β 内の変数を周辺化する場合、これらの変数に依存し、これらの変数に関連付けられている変数 α 内のすべての因子を収集します。これらの因子はマルコフ ブランケット ( ) を構成します马尔可夫毯是什么？？？？？。これらの要素は現状推定で線形化され、線形システムを形成します。
シュールの補数を使用して、新しい線形システムを取得します。
この線形化システムは、図 2 に示すように、セット α 内の変数に関連付けられた周辺事前分布を構成します。
BA を実行するとき、キーフレームの数を 8 フレーム以内に保ちます。周縁化戦略は DSO から来ています。つまり、固定スライディング ウィンドウ ( ) とは異なり、常に最も古いポーズを周縁化するわけではありませんが、新しいポーズ間の接続は維持されますsmothing应该就是指滑窗吧????。同じビューがある限り、ポーズと古いポーズは同じです。このアプローチは、DSO で実証されているように、固定スライディング ウィンドウ アルゴリズムよりも優れたパフォーマンスを発揮します。ポーズを周辺化する場合、画像フレーム内の残りの点が最初に周辺化され、これらの点に対応する残差が破棄されます。これにより、ヘッセ行列のスパース性と十分な情報が保存されます。
3.4 遅延の限界化
前のセクションで説明した周縁化の概念には、完全な確率分布を捉えるという利点があります。実際、周辺化係数が再線形化されない限り、結果として得られるより小さなシステムを解くことは、はるかに大きな元のシステムを解くことと同等です。
周縁化は重大な欠点ももたらします。周縁化手順全体を再実行しない限り、一連の変数を再周縁化することは不可能です。一方、周辺化事前分布の一貫性を保つために、FEJ 法 [28] を適用する必要があります。これは、すべての接続された変数の線形化点が周辺化で固定される必要があることを意味します。これは、視覚慣性オドメトリの場合に特に問題になります。これは、周縁化事前分布は周縁化が発生するスケールに関連していますが、スケールは大きく異なる可能性があるためです。この欠点を克服するために、遅延限界化戦略を使用します。
- 部分的な周辺化を効率的に除去して、ポーズ マップ バンドル調整のための完全なフォトメトリック確率分布をキャプチャします。
- IMU 情報を使用して、IMU の初期化後に初期ビジュアル エッジ事前分布を更新します。すべての視覚情報とほとんどの慣性情報を維持しながら、マルコフ括弧内の変数を再線形化します。
遅れた疎外化の考え方は、疎外化をなくすことはできないが、延期することはできるというものです。遅延されたグラフの周辺化の実行時間は、元のグラフの周辺化と同じです。
周辺化された事前情報を正規化するために、2 番目の遅延された周辺化された事前情報と対応する因子マップを維持します。この遅延係数グラフでは、画像フレームの周辺化が画像フレーム番号 d だけ遅延します。遅延された周縁化では、元のグラフと同じ周縁化の順序が維持されることに注意してください。このグラフを固定スライディング ウィンドウに変換すると、すぐにマルコフ ブランケットが大きくなり、システムの実行時間が増加します。図 2b に示すように、ポーズ P1 の遅延周辺化プロセスについて説明します。マルコフ ブランケットには P0、P2、および P3 のみが含まれます。最も古いフレーム P0 を周縁化すると、マルコフ ブランケットには P1 から P7 までのすべてのフレームが含まれることになり、計算時間が長くなります。遅延因子グラフでの周縁化には、元の因子グラフでの周縁化と同じ時間 i がかかります。遅延周辺化に基づくファクター グラフには、元のファクター グラフと同じ測光因子がすべて含まれており、姿勢が周辺化されると、対応する観測点も周辺化されます。これは、遅延グラフ内の各線形測光係数が、対応する係数が生成されたときにアクティブだった正確に Nf = 8 個のキーフレームに接続されていることを意味します。周縁化順序を維持することにより、遅延周縁化因子グラフのマルコフ ブランケットは通常、元の因子グラフのマルコフ ブランケットと同じサイズになります。つまり、ソルブがかかった時間は同じです。これは、レイテンシーが任意に大きい場合でも、遅延フリンジングのオーバーヘッドは遅延マップごとに追加のフリンジング プロセスのみであるため、非常に小さいことを意味します。
3.5 IMU初期化におけるポーズグラフBA
PGBA は、IMU の初期化に遅延限界化を利用します。このアイデアは、遅延マップに IMU 係数を入力し、すべての変数を最適化することです。GTSAM [29] ライブラリを使用し、lm オプティマイザーを使用してグラフを最適化します。この最適化では、すべての点が周辺化されます。これは、ポーズ グラフ最適化 (PGO) とバンドル調整 (BA) を組み合わせたものです。BA とは対照的に、ポイント深度の推定値を更新したり、測光誤差を再スケールしたりしません。PGO とは異なり、ポーズ間の制約を使用しませんが、すべてのフレームを接続し、BA の完全な確率分布を捉える「オクタグラム」を使用します。したがって、PGO と比較して、私たちのソリューションはより正確でありながら、完全な BA よりもはるかに高速です。
1. フィリングファクター図
フレーム Pi が最新の姿勢 Pk に直接接続されており、Pi と Pk の間の姿勢は周辺化されていないと定義します。遅延周辺化係数マップの最初のフレーム P_conn も最新の画像フレームに接続されていると仮定します。図 2c では、P_conn は P2 です。P2 から始まるすべての連続フレームの IMU 係数とバイアス係数を補間します。
IMU 係数は不連続な KF 間で補間できないため、P_conn フレームの前に開始することはできません。周辺化の順序は固定されていないため、ポーズを最適化するときにポーズに対応する IMU 変数を使用する必要がないことを意味します。
IMU 変数が存在しない場合、ファクター グラフには最大で Nf−2 個のポーズが存在する可能性があることがわかります。その理由は、関連付けられていないすべてのポーズもある時点でアクティブになるためです。d-Nf+2これは、 IMU 要素を追加するポーズが少なくとも 1 つあることを意味します。実際、Nf=8、遅延フレーム数 d=100 を選択します。これは、最悪の場合でも、最適化に参加する IMU 要素が 93 個あることを意味します。前に説明したように、固定スライディング ウィンドウの周辺化によりヘシアン行列が密になったり、ビジョン システムのパフォーマンスが最適化されなくなる可能性があるため、私たちが提案する戦略はより良いトレードオフを達成できます。
2. 最適化: GTSAM 最適化ライブラリの LM オプティマイザーを使用してファクター グラフを最適化し、オプティマイザーは Ceres のデフォルトのパラメーター設定を使用します。ポーズ グラフ最適化と BA の考え方を組み合わせたものであるため、この最適化をポーズ グラフ BA と呼びます。BA と比較すると、追跡されたポイントの深度情報は更新されず、測光誤差項も線形化されません。ポーズ グラフの最適化と比較すると、ポーズ間にバイナリ制約 ( 二元约束是什么意思？？？)を使用しませんが八元约束、Nf (8) フレームを関連付けて BA の完全な確率分布を取得できる 1 つの制約を使用します。固定遅延を使用することで、以前の視覚情報を失うことなくいつでも実行できますが、実行時も制限されます。
3. リードバンシング:私たちが提案する遅延周辺化とポーズ グラフ BA のもう 1 つの利点は、すべての視覚情報と慣性情報を含む、メイン システムよりも前に周辺化を取得できることです。このために、PGAB の周辺化因子グラフを再利用します。これは、メイン グラフで周辺化されているすべての変数を連続的に周辺化することによって実装された関数です。また、これにより周縁化の順序が維持されます。つまり、マルコフブランケットは周縁化の各ステップで固定の最大サイズを持つことになります。したがって、段階的に周辺化することは、すべての変数を一度に周辺化するよりも大幅に高速であり、より大きな逆行列を計算できるようになります。図 2D はこのプロセスを示しています。
3.6 堅牢なマルチステージ IMU 初期化
私たちの初期化戦略は主に次の 3 つの革新に基づいています。
- 変数 (この場合、スケール、重力方向、バイアス) は不明ですが、その他の変数は最適に近いため、最初に未知の変数のみを最適化し、その他を修正するのが最も効率的です。
- 最も正確な結果は、すべての変数を共同で最適化し、完全な共分散を取得することで得られます。
- 周縁化された場合、接続された変数は最適に近くなければなりません。そうでない場合、周縁化された事前分布は矛盾します。
このイニシャライザでは、遅延フレーム番号 d=100 の単一の遅延マージン係数マップを使用します。最初の初期化後でも、この遅延された疎外要因マップは視覚的な要因のみを維持し、疎外の置き換えを容易にする IMU 要因は含まれません。
予備的な IMU 初期化:このために、最後の d = 100 キーフレームのみを考慮し、それらを IMU 係数と連結します。ORB-SLAM3 [5] の初期化のみの慣性最適化と同様に、この最適化ではポーズを固定し、単一のバイアスを使用します。速度、バイアス、重力の方向、スケールのみを最適化しました。重力方向は、前の 2 つのキーフレーム間で平均化された加速度計の平均を計算することによって初期化され、スケールは 1 に初期化され、バイアスと速度は 0 になります。この最適化方法の精度は PGBA の方法よりわずかに低くなりますが、初期化にのみ使用されます。IMU の初期化後、スケールの周辺化共分散を計算し、それがしきい値を下回っている場合は PGAB に進みます。[31] で述べられているように、IMU の初期化には IMU のノイズ パラメータを考慮することが重要です。しかし、私たちの方法では、それは PGBA の初期化のみであり、さらに測光ノイズ特性をモデル化します。
PGBA IMU ユニット:セクション 3-E で説明されている PGBA メソッドを実行します。その後、スケールの周辺共分散を再びしきい値にして、最適化が成功したかどうかを判断します。より厳密なしきい値 θ_reinit が満たされない場合、その結果を初期化に使用しますが、その後、別の PGBA を実行して、より正確な値で再初期化します。この再初期化により、θ_init を比較的大きな値に設定できるようになり、IMU データをメイン システムで早い段階で使用できるようになります。
周縁化の置換: IMU の初期化後、周縁化で使用された初期スケール推定 s_fej と比較したスケール s の変化量を検出します。この変動がしきい値 θ_marge を超える場合、周辺化された事前分布のスケールが置き換えられます。疎外スケールの置換については、IMU因子を使用した遅延疎外因子マップを導入することにより、PGBA因子マップを再構築しました（図2cに示すように）。PGBA とは異なり、このグラフでは最適化は行わず、更新された周辺化事前分布を取得するためにグラフを再進めるだけです。この新しい事前分布には、すべての視覚因子と少なくとも d-Nf+1=93 の IMU 因子が含まれます。疎外された置換戦略は、IMU 因子の 50% 以上が以前の疎外された以前の要素に欠落している場合には使用されません。このプロセスは、遅延された周縁化を FEJ 更新に使用して、周縁化プロセスの主な問題を解決する方法を示しています。
リアルタイム モードでは、大まかな IMU 初期化と PGBA を別のスレッドで実行します。この IMU 初期化に対して提案されている遅延マージンの重要性に注意してください。これにより、PGBA はフォトメトリック バンドル調整から完全な共分散を取得できるようになります。Readvancing( 这大概是指延迟边缘化因子图和主因子图之间的变换) を使用すると、イニシャライザからのすべての IMU 情報を使用して、メイン システムの前に周辺化を生成することもできます。最後に、初期化後にスケールが変更されたときに周辺化を更新するために使用されます。
4. 実験結果
VIO のパフォーマンスは非常に優れており、EUROC データセットでの評価結果によると、vins-mono アルゴリズムよりも精度が悪く、完全な SLAM モジュールを備えた ORB-SLAM2 および ORB-SLAM3 と比較すると、精度はただ少し劣ります。
処理時間に関しては、フロントエンドがDSOのダイレクト方式を採用しているため、通常フレームの1フレームトラッキングは10.34ms、つまり97FPSに達し、ダイレクト方式の高速性を誇ります。さらに、キー フレームにはバックエンドの最適化操作が含まれており、リアルタイム性能は 20FPS です (ワークステーション上の ORB-SLAM3 の単一フレームの追跡速度も約 20FPS)。
DM-VIOはコード構造設計があまり美しくない点を除けば非常に優れており、今後の最適化に期待しています。