Traducción de tesis DM-VIO

Introducción

DM-VIO: Odometría Visual Inercial de Marginación Retardada
DM-VIO: Odometría Visual Inercial de Marginación Retardada

Me tomó dos días pellizcarme la nariz para traducir este documento. Muchos términos y expresiones de estado pueden ser consistentes con el trabajo anterior del equipo DSO y VI-DSO, por lo que parece muy laborioso. Luego, todo el documento Después de la traducción, la escritura todavía se siente nublado Se estima que es más apropiado tener una comprensión relativa de DSO y VI-DSO antes de leer este documento.

Este artículo solo se usa como una nota de estudio, porque hay muchas expresiones contundentes en el proceso de traducción, que pueden desviarse del significado original y no tener valor de referencia. Use con precaución. . .

0. Resumen

Este artículo propone DM-VIO (odometría inercial visual monocular basada en marginalización retardada), que utiliza dos nuevas tecnologías: marginalización retardada y gráfico de pose BA. DM-VIO utiliza un BA óptico basado en pesos dinámicos cuando calcula residuos visuales. El sistema adopta la estrategia común de marginación para limitar el tiempo de actualización ( 限制更新时间是什么意思？？？边缘化在VIO的作用是将滑窗中较老的帧移除并将其位姿转为其他帧估计的先验信息), pero esta marginación es irreversible, y una vez que se completa la marginación, 一阶泰勒展开点se fijará el punto de linealización ( ) en el punto de marginación (lo que lleva a que se produzcan inconsistencias en el punto de linealización) . Para resolver este problema, el artículo propone una estrategia de marginación diferida: mantener un gráfico de segundo factor para que la marginación pueda retrasarse. Esta estrategia permite obtener un nuevo anterior marginado con un punto de linealización consistente al volver a ingresar al gráfico retrasado más tarde. Además, la estrategia de marginación retrasada nos permite agregar información de IMU a cantidades estatales ya marginadas. Esta es la base de nuestro ajuste de paquete de gráfico de pose propuesto, que usamos para la inicialización de IMU. Captura la incertidumbre fotométrica completa, mejorando la estimación de escala en comparación con el trabajo de inicialización de IMU anterior. Para solucionar el problema de la escala que no se puede observar inicialmente, continuamos optimizando la escala y la dirección de la gravedad del sistema principal después de completar la inicialización de la IMU. Evaluamos nuestro sistema en conjuntos de datos EuRoC, TUM-VI y 4Seasons, que incluyen escenas a gran escala de drones voladores, dispositivos portátiles y vehículos. Debido a la inicialización IMU propuesta, nuestro sistema supera el trabajo de última generación en odometría inercial visual e incluso supera los métodos inerciales binoculares cuando solo se utilizan una cámara e IMU. El código se publicará en vision.in.tum.de/dm-vio.

1. Introducción

La odometría visual (inercial) se usa cada vez más en robótica, conducción autónoma y realidad aumentada. La combinación de una cámara y una unidad de medición inercial (IMU) es popular para estas tareas, y los dos tipos de sensores pueden complementarse entre sí, lo que da como resultado un sistema robusto y de alta precisión. Para la configuración mínima de cámara monocular + IMU, la IMU también se puede utilizar para recuperar la información a escala real. Sin embargo, esta escala no siempre es apreciable, y el caso más común de degradación es el movimiento a velocidad constante ( 恒速运动时加速度为0,无法形成有效约束). Por lo tanto, el tiempo de inicialización de este tipo de sistema (VIO) puede ser relativamente largo y depende de la situación de movimiento real. Si está ansioso por inicializar, afectará el cálculo del valor inicial y luego afectará el rendimiento de la estimación posterior ( 对于单目VIO来说一个好的初始化结果十分重要，因为后面的估计都是基于初始化结果进行计算的，如果一开始的值偏差就比较大，在后续跟踪时会影响到最优估计的收敛). Este problema también es la razón por la cual el sistema de cámara binocular + VIO es mejor que el monocular VIO en el pasado.

La mayoría de los sistemas anteriores (como vins-mono, orb-slam3, etc.) implementan la odometría visual y la inicialización de la IMU en paralelo (por separado) durante la inicialización, y ejecutan el sistema visual-inercial después de que la odometría visual e inercial se inicializa correctamente. . . Sin embargo, esto afectará el tiempo de inicialización y el rendimiento durante la inicialización.La inicialización debe ser lo más corta posible, pero si es demasiado corta, no se puede obtener suficiente información de escala.

VI-DSO [6] se inicializa sobre la marcha a una escala arbitraria y optimiza explícitamente la escala en el sistema host. Esto puede producir estimaciones de escala muy precisas, pero este enfoque puede agregar un costo de tiempo significativo hasta que la escala se estime correctamente. Además, el sistema también puede fallar en situaciones en las que el error de escala inicial es muy alto, como la estimación de movimiento en grandes entornos al aire libre.

Proponemos una combinación de estas dos estrategias: similar a la anterior, comenzamos con un sistema de odometría visual mientras ejecutamos un hilo de inicialización de IMU en paralelo. Pero después de inicializar la IMU, seguimos estimando la escala y la dirección de la gravedad como las variables de optimización explícitas ( ) en el sistema principal 不明白？哪里结合了，反而有点向vins，在视觉和惯性分别初始化后进行视觉惯性对齐, de modo que el sistema pueda converger rápidamente y obtener una estimación más precisa.

Esta estrategia de inicialización puede conducir a los siguientes tres problemas:

• Cómo capturar adecuadamente la incertidumbre visual en el inicializador IMU.
• ¿Cómo transferir información sobre la escala y las variables IMU desde el inicializador IMU al sistema principal?
• ¿Cómo podemos mantener antecedentes de marginación consistentes si las estimaciones de escala varían?

VI-DSO [6] intenta resolver 3 introduciendo marginación dinámica, que de hecho mantiene consistentes los factores de marginación, pero pierde demasiada información en el proceso.

En este artículo, se propone retrasar la marginación y los tres problemas anteriores se han resuelto relativamente bien. Este método es principalmente para mantener el segundo ( 位姿图？？？desconocido), el gráfico de pose se usa para retrasar la marginación, este método requiere solo una pequeña cantidad de sobrecarga computacional, pero realiza las siguientes tres tecnologías clave:

• Agregue el factor IMU al gráfico del factor de retardo para ejecutar el gráfico de pose propuesto BA( 需明确是如何加入的)
• Este mapa del factor de marginación de retraso para la inicialización de la IMU se puede eliminar, lo que proporciona una marginación previa que incluye información de la IMU para el sistema principal.
• Cuando la escala del sistema principal cambia significativamente, se puede actualizar en el anterior marginado ( trigger marginalization replacementno sé qué significa por el momento)

Con base en las tres técnicas anteriores, se puede obtener una inicialización muy precisa, y también puede ser resistente a la inobservabilidad a largo plazo ( ？？？). En base a las ideas anteriores proponemos un sistema de odometría visual-inercial que implementa un front-end óptico integrando pesos dinámicos.

Evaluamos el método propuesto en tres conjuntos de datos desafiantes: el conjunto de datos EUROC grabado con un avión, el conjunto de datos TUM-VI grabado con una cámara de mano y el conjunto de datos 4SEASON. Estos últimos, con su velocidad constante durante largos períodos de tiempo, plantean desafíos particulares para la odometría de inercia simple.

El rendimiento de nuestro sistema propuesto es el mejor entre la odometría visual inercial, incluso superando a algunas odometrías visuales inerciales binoculares. Las principales contribuciones de este trabajo son las siguientes:

• Se propone una estrategia de marginación diferida para suplir los defectos de la marginación manteniendo las ventajas de la marginación ( 线性化点早期固定带来的不一致问题)
• Pose Graph Bundle Adjustment (PGBA) combina la eficiencia de la optimización del gráfico de pose con la incertidumbre del ajuste de paquete completo. ( 需要进行理解)
• Un sistema de odometría visual-inercial de última generación con un nuevo inicializador IMU multietapa y factores fotométricos de ponderación dinámica. ( 需要进行理解)

2. Trabajo relacionado

La mayoría de los sistemas iniciales de odometría visual y SLAM utilizaban métodos basados ​​en funciones y métodos de filtrado u optimización no lineal para el backend. Posteriormente, se propuso el método directo para lograr la estimación del estado mediante la optimización de la función de error fotométrico, que puede operar en nubes de puntos densas, semidensas y dispersas.

El algoritmo MSCKF muestra que la combinación de mediciones visuales e inerciales puede mejorar en gran medida la precisión y la solidez de la odometría, y se han propuesto muchos sistemas de odometría visual y SLAM basados ​​en un acoplamiento estrecho de cámaras e IMU.

La inicialización de los sistemas viso-inerciales monoculares no es trivial, ya que se requiere suficiente movimiento para observar la escala. La mayoría de los sistemas realizan primero una inicialización solo de visión y utilizan los resultados de visión para completar la inicialización de la IMU. En comparación con estos sistemas, optamos por optimizar la información de la báscula en el sistema host directo. Descubrimos que el sistema ORB-SLAM3 también continuará optimizando la escala después de la inicialización, pero esta es una optimización separada que ajusta todas las poses anteriores, pero la operación de optimización debe completarse dentro de los 75 segundos posteriores a la inicialización. [23] también optaron por continuar optimizando la información de la escala en el sistema principal, no tenían forma de transferir la covarianza entre el sistema principal y el inicializador, por lo que no lograron el mismo nivel de precisión. A diferencia de todos estos sistemas, la marginación del retraso propuesta permite que nuestro inicializador IMU capture la incertidumbre visual completa y optimice continuamente la escala en el sistema principal.

VI-DSO se inicializa con una escala arbitraria y optimiza la información de escala en el sistema host, y también utiliza la marginación dinámica para manejar cambios a gran escala en el sistema host. En comparación con VI-DSO, proponemos un inicializador de IMU independiente, que reemplaza la marginación dinámica con la marginación retrasada (una ponderación de error de amplitud dinámica), lo que hace que la estimación del sistema sea más precisa y robusta.

3. Métodos de investigación

3.1 Definición de algunos símbolos

Define la representación de algunos símbolos, donde la pose se refiere al sistema de coordenadas del mundo al sistema de coordenadas de la cámara.

3.2 BA visual-inercial basada en el método directo

El núcleo de DM-VIO es BA conjunta visual-inercial para todos los fotogramas clave. Como se hace habitualmente, optimizamos los estimadores tanto de visión como de IMU en la misma función de coste. Para los residuales en la parte visual, usamos el método de cálculo del método directo en DSO. Para integrar los datos de IMU en BA, adoptamos el proceso de integración previa de los datos de IMU entre dos fotogramas clave.

Usamos el algoritmo LM para optimizar la siguiente función de costo:

Contiene E_priorla pose del primer cuadro, la dirección de la gravedad y el anterior marginal propuesto en la Sección III.C. A continuación describimos los términos de energía ( 残差？？？) y las variables de estado de optimización.

Error fotométrico: la función de error fotométrico se basa en el algoritmo DSO. Optimizamos un conjunto de fotogramas clave activos F, cada fotograma clave contiene un conjunto de puntos característicos P_i( 这里应该指的是对应的空间点吧？？), cada punto se proyecta en el fotograma clave donde se puede observar el punto, luego el error fotométrico se puede calcular mediante la siguiente fórmula: La definición


específica de la función de costo necesita ver DSO.

Pesos ópticos dinámicos: el tercer término de la ecuación anterior contiene la dirección previa y la gravedad para la primera pose. En el caso de una calidad de imagen deficiente, el sistema debe basarse principalmente en datos inerciales. Sin embargo, la mala calidad de imagen a menudo da como resultado residuos fotométricos muy grandes debido a la función de costo fotométrico utilizada. En comparación con la IMU, aumenta considerablemente el peso fotométrico. Para resolverlo, utilizamos un peso de error fotométrico dinámico.


donde λ es el componente de peso estático y θ es el umbral para activar pesos dependientes del error. Esto normaliza efectivamente la raíz del error fotométrico cuadrático medio al valor máximo λθ, similar a la función de costo robusta de umbral [25]. En contraste con la norma de Huber en la Ecuación (3), que pondera los puntos individuales que violan la suposición fotométrica, este peso explica la mala calidad general de la imagen y aumenta el peso relativo de la IMU. En nuestros experimentos, elegimos θ = 8.

Variables de optimización: optimizamos la escala y la dirección de la gravedad como variables explícitas. Si bien BA también puede cambiar la escala y la orientación global en principio, la convergencia mejora cuando se optimizan explícitamente [6]. Además, denotamos la pose de los factores visuales en el cuadro de imagen V y la pose de los factores IMU en el cuadro IMU. Mientras que el marco IMU tiene una escala real métrica y un eje z alineado a la dirección de la gravedad, es decir, el marco de la imagen visual puede tener una escala y rotación arbitraria, la cual se define durante la inicialización del sistema de visión ( ) 因为视觉部分在定义之后会通过IMU数据对齐尺度和重力方向. Para modelar esta variable usamos s y la matriz de rotación R_V_I. Debido a que el ángulo YAW no es significativo para la IMU, fijamos el sistema de coordenadas R_V_I más cercano. Usamos la siguiente fórmula para transformar el sistema de coordenadas:

donde S_I_Vestá el elemento en sim(3), incluida la información de rotación, traslación y escala. Las otras variables también se convierten a sim(3), pero el resultado final ( 什么的结果？？？？) tiene escala 1 y es un elemento en SE(3).

La variable de optimización completa es:

donde s_i es el estado de todos los fotogramas clave, definido de la siguiente manera:

Donde v_i representa la información de velocidad correspondiente al cuadro clave, b_i representa el sesgo ( ？？？？什么的偏置，加速计和陀螺仪的吗？？是一个几维向量？？), a_i y b_i son los parámetros de brillo de la transformación afín, y d representa la información de profundidad inversa del punto activo en el cuadro clave. La optimización de los residuos fotométricos se implementa utilizando un código de aceleración SIMD integrado personalizado en DSO, y otros factores se optimizan utilizando GTSAM.

Error de IMU: preintegramos los datos de IMU usando el método propuesto en [26], y lo usamos como un factor inteligente como en [27], y lo refinamos aún más. Con respecto al error de la IMU, definimos el estado de la IMU de la siguiente forma:

El estado de la imu se obtiene optimizando el estado s en la Ecuación 5. Dados los datos de una IMU en el momento i, el estado previo y la covarianza correspondiente en el momento j se pueden obtener a través de la preintegración. La función de error inercial resultante penaliza las desviaciones de la estimación del estado actual del estado previsto.

3.3 Marginación parcial basada en el complemento de Schur

Marginamos las variables más antiguas usando el relleno de Shure. Al marginar las variables en el conjunto β, recolectamos todos los factores en la variable α que dependen de estas variables y están asociados a estas variables, y estos factores conforman la manta de Markov ( ) 马尔可夫毯是什么？？？？？. Estos factores se linealizan en la estimación del estado actual para formar un sistema lineal.

Usamos el complemento de Schur y luego obtenemos el nuevo sistema lineal:

Este sistema linealizado constituye el prior marginado asociado con las variables en el conjunto α, como se muestra en la Figura 2.

Al hacer BA, mantenemos la cantidad de fotogramas clave dentro de los 8. La estrategia de marginación proviene de DSO, lo que significa que, a diferencia de una ventana deslizante fija ( ), no siempre smothing应该就是指滑窗吧????marginamos las poses más antiguas, sino que mantendremos la conexión entre las nuevas pose y la pose anterior siempre que tengan la misma vista. Este enfoque supera a los algoritmos de ventana deslizante fija, como se demuestra en DSO. Al marginar una pose, los puntos restantes en el marco de la imagen se marginan primero y los residuos correspondientes a estos puntos se descartan. Esto preserva la escasez y la información suficiente de la matriz hessiana.

3.4 Marginación del retraso

El concepto de marginación explicado en la sección anterior tiene la ventaja de capturar la distribución de probabilidad completa. De hecho, resolver el sistema más pequeño resultante es equivalente a resolver el sistema original mucho más grande, siempre que los factores de marginación no se vuelvan a linealizar.

La marginación también trae serias desventajas: es imposible volver a marginar un conjunto de variables sin volver a ejecutar todo el procedimiento de marginación. Mientras tanto, para mantener consistente la marginación anterior, se debe aplicar el método FEJ [28]. Esto significa que los puntos de linealización para todas las variables conectadas deben fijarse en la marginalización. Esto es especialmente problemático para la odometría visual-inercial porque la marginación previa está relacionada con la escala en la que ocurre la marginación, pero la escala puede variar enormemente. Utilizamos una estrategia de marginación por demora para superar la desventaja.

• Elimine de manera eficiente la marginación parcial para capturar la distribución de probabilidad fotométrica completa para el ajuste del conjunto de mapas de pose.
• Utilice la información de la IMU para actualizar los antecedentes del borde visual inicial después de la inicialización de la IMU. Relinealiza las variables en corchetes de Markov mientras mantiene toda la información visual y la mayoría de la inercial.

La idea de la marginación tardía es que la marginación no se puede eliminar, pero se puede posponer. La marginalización en el gráfico retrasado tiene el mismo tiempo de ejecución que la marginalización en el gráfico original.

Para normalizar la información previa marginalizada, mantenemos una segunda previa marginalizada retrasada y el mapa de factores correspondiente. En este gráfico de factor de retraso, la marginación de los cuadros de imagen se retrasa por un número de cuadro de imagen d. Observamos que la marginación diferida conserva el mismo orden de marginación que en el gráfico original. Al convertir este gráfico en una ventana deslizante fija, inmediatamente conduce a una manta de Markov más grande, lo que aumenta el tiempo de ejecución del sistema. Como se muestra en la Figura 2b, describimos el proceso de marginación retrasada para la pose P1. La manta de Markov solo contiene P0, P2 y P3. Si marginamos el marco P0 más antiguo, la manta de Markov contendrá todos los marcos P1 a P7, lo que resultará en un mayor tiempo de cálculo. La marginalización en el gráfico del factor de retraso toma el mismo tiempo i que la marginalización en el gráfico del factor original. El gráfico de factores basado en la marginación retrasada contiene todos los mismos factores fotométricos que el gráfico de factores original, y los puntos de observación correspondientes también se marginan cuando se margina la pose. Esto significa que cada factor fotométrico lineal en el gráfico de retraso está conectado exactamente a Nf = 8 fotogramas clave que estaban activos cuando se generó el factor correspondiente. Al preservar el orden de marginación, la manta de Markov en el gráfico de factor marginado retrasado suele tener el mismo tamaño que la manta de Markov en el gráfico de factor original. Así que el tiempo que toma Sulbu es el mismo. Esto significa que incluso para latencias arbitrariamente grandes, la sobrecarga de la franja de demora es muy pequeña, ya que solo equivale a un proceso de franja adicional por mapa de demora.

3.5 Pose gráfico BA en la inicialización de IMU

PGBA utiliza marginación de retardo para la inicialización de IMU. La idea es poblar el mapa de demora con factores IMU y optimizar todas las variables. Optimizamos grafos usando la biblioteca GTSAM [29], usando el optimizador lm. En esta optimización, todos los puntos son marginados. Es una combinación de Pose Graph Optimization (PGO) y Bundle Adjustment (BA). A diferencia de BA, no actualizamos nuestras estimaciones de las profundidades de los puntos ni cambiamos la escala de los errores fotométricos. A diferencia de PGO, no usamos restricciones entre poses, sino "octagramas" que conectan todos los marcos y capturan la distribución de probabilidad completa de BA. En comparación con PGO, nuestra solución es, por lo tanto, más precisa y mucho más rápida que el BA completo.

1. Diagrama de factor de relleno
Defina que un marco Pi está directamente conectado a la última pose Pk, y las poses entre Pi y Pk no están marginadas. Suponemos que el primer cuadro P_conn en el mapa del factor de marginación retrasada también está conectado al último cuadro de imagen. En la Figura 2c, P_conn es P2. Interpolamos factores IMU y factores de sesgo para todos los marcos consecutivos a partir de P2.

No podemos comenzar antes del marco P_conn porque los factores IMU no se pueden interpolar entre KF no contiguos. Dado que el orden de marginación no es fijo, significa que no necesitamos usar las variables IMU correspondientes a la pose al optimizar la pose.

Se puede demostrar que en ausencia de variables IMU, puede haber como máximo Nf−2 poses en el gráfico de factores. La razón es que todas las poses no asociadas también están activas en algún momento. Esto significa que tenemos al menos d-Nf+2una pose para agregar el factor IMU. De hecho, elegimos Nf=8 y el número de fotogramas retrasados ​​d=100, lo que significa que, incluso en el peor de los casos, todavía habrá 93 factores IMU participando en la optimización. Como se explicó anteriormente, la marginación de la ventana deslizante fija puede hacer que la matriz de arpillera se vuelva densa o que el rendimiento del sistema de visión sea subóptimo, por lo que nuestra estrategia propuesta puede lograr una mejor compensación.

2. Optimización: Usamos el optimizador LM en la biblioteca de optimización GTSAM para optimizar el gráfico de factores, y el optimizador usa la configuración de parámetros predeterminada de Ceres. Llamamos a este gráfico de posición de optimización BA porque combina las ideas de optimización de gráfico de posición y BA. En comparación con BA, ya no actualizamos la información de profundidad de los puntos seguidos ni linealizamos el término de error fotométrico. 二元约束是什么意思？？？En comparación con la optimización de gráficos de poses, no usamos restricciones binarias ( ) entre poses , pero usamos una 八元约束, que asocia Nf (8) marcos y puede obtener la distribución de probabilidad completa de BA. Al usar un retraso fijo, también está limitado en el tiempo de ejecución, aunque puede ejecutarse en cualquier momento sin perder ninguna información visual previa.

3. Readvancing: Otra ventaja de nuestra propuesta de marginación retrasada y gráfico de pose BA es que podemos obtener una marginación previa del sistema principal, incluida toda la información visual e inercial. Para esto, reutilizamos el gráfico de factores marginados para PGAB, una función implementada marginalizando sucesivamente todas las variables que están marginadas en el gráfico principal. Además, esto preserva el orden de marginación, lo que significa que la manta de Markov tendrá un tamaño máximo fijo en cada paso de marginación. Por lo tanto, marginar paso a paso es significativamente más rápido que marginar todas las variables a la vez, lo que permite calcular inversiones de matriz más grandes. La Figura 2D demuestra este proceso.

3.6 Inicialización robusta de IMU multietapa

Nuestra estrategia de inicialización se basa principalmente en las siguientes tres innovaciones:

• Las variables son desconocidas (en nuestro caso, la escala, la dirección de la gravedad y el sesgo), mientras que otras están cerca de ser óptimas, es más eficiente optimizar solo las variables desconocidas primero y corregir las demás.
• Los resultados más precisos se pueden obtener optimizando conjuntamente todas las variables y obteniendo la covarianza completa.
• Cuando se marginan, las variables conectadas deben estar cerca de lo óptimo, de lo contrario, el prior marginado se vuelve inconsistente.

Para este inicializador usamos un mapa de factor de margen de retardo único con un número de cuadro de retardo d=100. Incluso después de la primera inicialización, este mapa de factores de marginación retrasada solo mantiene factores visuales y no contiene factores IMU para facilitar el reemplazo de la marginación.

Inicialización preliminar de IMU: para esto, consideramos solo los últimos d = 100 fotogramas clave y los concatenamos con el factor IMU. Similar a la optimización inercial de solo inicialización en ORB-SLAM3 [5], en esta optimización arreglamos la pose y usamos un solo sesgo. Solo optimizamos la velocidad, el sesgo, la dirección de la gravedad y la escala. La dirección de la gravedad se inicializa calculando el promedio de acelerómetros promediados entre los dos fotogramas clave anteriores, la escala se inicializa en 1, el sesgo y la velocidad son 0. La precisión de este método de optimización es ligeramente inferior a la de PGBA, pero solo se utiliza para la inicialización. Después de la inicialización de IMU, calculamos la covarianza de marginación de la escala y procedemos a PGAB si está por debajo de un umbral. Como se indica en [31], considerar los parámetros de ruido de la IMU es fundamental para la inicialización de la IMU. Pero para nuestro método, es solo la inicialización de PGBA, que además modela las propiedades del ruido fotométrico.

Unidad PGBA IMU: Realizamos el método PGBA como se describe en la Sección 3-E. Luego, volvemos a establecer el umbral de la covarianza marginal de las escalas para determinar si la optimización fue exitosa. Cuando no se alcanza el umbral más estricto θ_reinit, usamos el resultado para la inicialización, pero luego realizamos otro PGBA para reinicializar con valores más precisos. Esta reinicialización nos permite establecer θ_init en un valor relativamente grande, lo que permite que los datos de la IMU se utilicen antes en el sistema principal.

Reemplazo de marginación: después de la inicialización de IMU, detectamos la cantidad de cambio en la escala s en comparación con la estimación de escala inicial s_fej utilizada en la marginación. Si esta variación supera el umbral θ_marge, se reemplazan las escalas en el anterior marginado. Para el reemplazo de la escala de marginación, reconstruimos un mapa de factores PGBA introduciendo un mapa de factores de marginación retrasada con factores IMU (como se muestra en la Fig. 2c). A diferencia de PGBA, no optimizamos en este gráfico, sino que lo volvemos a avanzar para obtener antecedentes marginados actualizados. Este nuevo previo seguirá conteniendo todos los factores visuales y al menos d-Nf+1=93 factores IMU. La estrategia de reemplazo marginado no se usa si falta más del 50% de los factores IMU en el anterior marginado anterior. Este proceso muestra cómo se puede utilizar la marginación retrasada para las actualizaciones de FEJ, resolviendo el problema principal del proceso de marginación.

En el modo en tiempo real, realizamos una inicialización aproximada de IMU y PGBA en subprocesos separados. Tenga en cuenta la importancia del margen de retraso propuesto para esta inicialización de IMU. Permite que PGBA capture la covarianza completa de los ajustes del paquete fotométrico. Con Readvancing( 这大概是指延迟边缘化因子图和主因子图之间的变换), esto también nos permite generar la marginación antes del sistema principal, con toda la información de la IMU desde el inicializador. Finalmente, se usa para actualizar la marginación cuando la escala cambia después de la inicialización.

4. Resultados experimentales

El rendimiento en VIO es realmente excelente. Según los resultados de la evaluación en el conjunto de datos EUROC, la precisión es peor que la del algoritmo vins-mono. En comparación con ORB-SLAM2 y ORB-SLAM3 con un módulo SLAM completo, la precisión es sólo ligeramente inferior. .

En términos de tiempo de procesamiento, dado que el front-end adopta el método directo de DSO, el seguimiento de un solo cuadro para cuadros ordinarios puede alcanzar los 10,34 ms, que es 97FPS, lo cual es digno del hecho de que el método directo es rápido. Además, el cuadro clave involucra operaciones de optimización de back-end, y el rendimiento en tiempo real es de 20 FPS (la velocidad de seguimiento de un solo cuadro de ORB-SLAM3 en la estación de trabajo también es de aproximadamente 20 FPS).

DM-VIO es excelente, excepto que el diseño de la estructura del código no es muy hermoso, y esperamos una optimización posterior.