[Notas de papel] NeRF-Det: Aprendizaje de la representación volumétrica basada en la geometría para la detección de objetos 3D con múltiples vistas

Enlace original: https://arxiv.org/abs/2307.14620

1. Introducción

  Los sensores de profundidad rara vez se utilizan en escenas interiores (como en dispositivos VR y AR), por lo que depender únicamente de cámaras para la detección de objetos 3D es un desafío. El método de modelado geométrico más directo es estimar la profundidad, pero los algoritmos de estimación de profundidad monocular no pueden estimar con precisión la profundidad y no pueden lograr la coherencia de múltiples vistas.
  Los campos de radiación neuronal (NeRF) han demostrado ser eficaces en el modelado de geometría, pero aplicarlos a la detección de objetos 3D es complejo porque

1. La renderización de NeRF requiere un muestreo del espacio de alta frecuencia para evitar el alias, pero la resolución de la cuadrícula de volumen para la detección 3D es menor.
2. El NeRF tradicional realiza una optimización escena por escena (es decir, es necesario entrenar un NeRF para cada escena), lo que provocará un retraso considerable en las tareas de detección de objetos 3D basadas en imágenes.
3. NeRF puede aprovechar la coherencia de múltiples vistas para aprender geometría durante el entrenamiento, pero simplemente unir NeRF y la percepción (primero la reconstrucción y luego la detección) no puede brindar las ventajas de la coherencia de múltiples vistas.

  Este artículo propone NeRF-Det, que modela explícitamente la geometría de la escena como un campo de opacidad y entrena conjuntamente la rama NeRF y la red de detección 3D. Específicamente, este artículo proyecta muestras de rayos en imágenes y extrae características de mapas de características de imágenes de alta resolución. Para mejorar la generalización del modelo NeRF a escenas desconocidas, este artículo utiliza más características de imagen mejoradas anteriores como entrada de NeRF MLP para hacer que las características modeladas por NeRF sean más discriminativas. A diferencia del artículo anterior que une directamente NeRF y la percepción, este artículo conecta la rama NeRF y la rama de detección a través de un MLP compartido (utilizado para predecir el campo de densidad), de modo que el gradiente de la rama NeRF se pueda propagar hacia atrás al características de la imagen, lo cual es beneficioso para la rama de detección. Posteriormente, el campo de densidad se convierte en un campo de opacidad y se multiplica con las características de la cuadrícula de volumen distribuida uniformemente para reducir el peso de los espacios vacíos en las características de la cuadrícula de volumen. Finalmente, las características de malla volumétrica que tienen en cuenta la geometría se introducen en el cabezal de detección para su detección. Durante la inferencia, se eliminan las ramas NeRF, minimizando la sobrecarga adicional del detector original.
  Los experimentos muestran que modelar explícitamente la geometría como un campo de opacidad puede crear una mejor representación de malla de volumen, mejorando así en gran medida el rendimiento sin medición de profundidad. Si se utiliza la medición de profundidad durante el entrenamiento, el rendimiento se puede mejorar aún más y no se requiere inferencia. . Además, los experimentos sobre síntesis de nuevas vistas y estimación de profundidad muestran que nuestro método puede sintetizar imágenes de nuevas vistas razonables y realizar una estimación de profundidad precisa, lo que indica que las características de malla de volumen 3D de este artículo pueden expresar mejor la geometría de la escena.

3. Método

  Como se muestra en la figura, NeRF-Det realiza una detección de objetivos 3D basada en imágenes extrayendo características de la imagen y proyectándolas en una cuadrícula de volumen 3D. Utilice NeRF para inferir la geometría de la escena y utilice un MLP compartido para conectar la detección de objetos 3D con NeRF para mejorar la estimación de la geometría utilizando restricciones de múltiples vistas en NeRF.

3.1 rama de detección 3D

  Primero, las imágenes de vistas múltiples se ingresan en la columna vertebral de imágenes 2D. Utilice FPN para fusionar funciones de múltiples escalas y seleccionar las funciones de mayor resolución para generar una malla de volumen 3D. Específicamente, cree N x × N y × N z N_x\times N_y\times N_z
  en el espacio 3D${norte}_{}\times {norte}_{}\times {norte}_{}$vóxeles y luego proyecte el centro de cada vóxel en la imagen para obtener el índice de píxeles correspondiente. Las características de la imagen cercanas al punto de proyección se muestrean mediante la interpolación del vecino más cercano. Para puntos proyectados fuera de la imagen o ubicados detrás del plano de la imagen, establezca la función de vóxel en 0. Luego, se promedian los vóxeles efectivos de las características de múltiples vistas: $V^{unvg}\left(p\right)={\sum }_{yo=1}^{{METRO}_{}}{V}_{}\left(p\right)/M_{}$（${METRO}_{}$es el número de proyecciones 2D válidas).
  Sin embargo, las características de malla de volumen generadas por el método anterior no consideran el espacio vacío, lo que hace que la expresión 3D sea borrosa. Este artículo propone utilizar la rama NeRF para mejorar la capacidad de la rama de detección para aprender geometría.

3.2 rama NeRF

  Muestreo de funciones : NeRF es un método de representación neuronal que se utiliza para la síntesis de nuevas vistas. NeRF anterior muestra características de cuadrículas de volumen 3D de alta resolución, lo que puede causar alias para tareas de detección 3D de baja resolución. Este artículo muestra características de mapas de características de imágenes de alta resolución, como se muestra en la figura. Específicamente, primero a lo largo del rayo r ( t ) = o + t × d comenzando desde la cámara \mathbf{r}(t)=\mathbf{o}+t\times \mathbf{d

  }$r\left(t\right)=oh+t\times d$ punto de muestreo (donde$o$ es el punto inicial del rayo,$d$ es la dirección del rayo). Coordenada p \mathbf{p}en el rayo$Para\; el\; punto\; p$ , su color c ( p , d )se puede calcular según la siguiente fórmula$c(pag,d)$ y densidad$\sigma \left(p\right)$ :$$\begin{gathered} \sigma \left(p\right),\hat{h}\left(pag\right)=\text{G-MLP}\left(\bar{V}\right(pag),c(p)) \\ c(pag,re)=\text{C-MLP}\left(\hat{h}\right(pag),d) \end{gathered}$$ donde$\bar{V}\left(p\right)$es la característica de rayo agregada y mejorada a partir de características de múltiples vistas (ver más adelante),$\gamma \left(p\right)$ es el código de posición,$\hat{h}$ es una característica oculta. $\text{G-MLP}$ se utiliza para estimar la geometría, mientras que$\text{C-MLP}$ se utiliza para estimar el color. Para la función de activación, es la densidad$\sigma \left(p\right)$ usa ReLU y color$c(pag,d)$ Utilice Sigmoide.
  Funciones mejoradas: los métodos anteriores no son suficientes para que G-MLP estime con precisión la geometría de la escena. Por lo tanto, este documento utiliza más antecedentes para ayudar a optimizar G-MLP. Primero calcule la varianza V var ( p ) = ∑ i = 1 M p ( V i ( p ) − V avg ( p ) ) 2 / M p V^{var}(p)=\sum_{ desde diferentes características de muestreo de vista.i$V^{var}\left(p\right){}^{\_}{}^{\_}={\sum }_{yo=1}^{{METRO}_{}}\left({v.}_{}\right(pag)-V^{avg}(pag\left)\right){}^{\_}{}^2/M_{}$Realizar mejoras. La variación de las características de color puede expresar aproximadamente la ocupación del campo 3D: si una posición 3D $Si\; p$ está ocupado, la variación de características debería ser pequeña.
  Además, los valores RGB se utilizan para funciones de muestreo mejoradas (también se calculan la media y la varianza de cada vista). Por lo tanto, la característica mejorada$\bar{V}$的$\{V^{unvg},V^{somos\_}\_{}^{\_}RG{B}^{unvg},RG{B}^{empalme\; de\; var}\}$. Las características mejoradas se generan a través de NeRF MLP para densidad y color. Este artículo utiliza la representación de vóxeles para generar el color y la profundidad del píxel final:$$\hat{C}=\sum _{yo=1}^{{norte}_{}}{t}_{}{a}_{}{C}_{},D\left(r\right)=\sum _{yo=1}^{{norte}_{}}{t}_{}{a}_{}{t}_{}$$其中$t_{}=\exp (-{\sum }_{j=1}^{yo-}{pag}_{}{d}_{}),a_{}=1-\exp (-p{\_}_{}{d}_{})$，$t_{}$este es el numero $La\; distancia\; entre\; el\; punto\; de\; muestreo\; i$ y la cámara,$d_{}$es la distancia entre los puntos de muestra en el rayo.

3.3 Estimación de la geometría de la escena

  Este artículo utiliza campos de opacidad para el modelado de geometría de escenas. El campo de opacidad es una representación de malla volumétrica que representa la presencia de objetos en un área específica (es decir, si hay un objeto que no se puede ver a través, el campo de opacidad en esa área debe ser 1,0). Para generar el campo de opacidad, las características en la rama de detección se mejoran utilizando el mismo método descrito anteriormente, donde los pesos de G-MLP se comparten con la rama NeRF. Esto permite que el gradiente en NeRF regrese a la rama de detección, lo cual es beneficioso para el entrenamiento; además, las características de la cuadrícula de volumen mejoradas por la rama de detección se pueden ingresar directamente en G-MLP durante la inferencia. Fórmula G-MLP $pag\left(pag\right)=\text{G-MLP}\left(\bar{V}\right(pag),$p \mathbf{p}en$\gamma$$($$p$$))$$p$ es la posición central del vóxel de la rama de detección.
  Posteriormente, el campo de densidad se convierte en un campo de opacidad:$un\left(pag\right)=1-\exp (-\sigma (p)\times d_{})$ . Pero aquí$d_{}$No se puede obtener porque no hay ningún rayo definido. Sin embargo, dado que la cuadrícula de volumen está distribuida uniformemente, $d_{}$es una constante, por lo que se puede eliminar de la fórmula para obtener $un\left(pag\right)=1-\exp (-\sigma (pags))$ . Finalmente, el campo de opacidad se combina con la cuadrícula de funciones de detección 3D$V^{unvg}$ se multiplica por elementos.

3.4 Cabezal de detección 3D y objetivo de entrenamiento

  Este artículo utiliza el mismo cabezal de detección que ImVoxelNet, selecciona 27 posiciones candidatas para cada objeto y utiliza 3 convoluciones para predecir la categoría, el tamaño y la posición central.
  La rama NeRF y la rama de detección se entrenan conjuntamente y no es necesario optimizar la rama NeRF escena por escenario durante las pruebas. La rama de detección utiliza la misma pérdida que ImVoxelNet, incluida la pérdida focal, la pérdida de centralidad y la pérdida de localización para la clasificación. La rama NeRF utiliza pérdida fotométrica $l_{}=\Vert \hat{C}\left(r\right)-{\hat{C}}_{gt}\left(r\right){\Vert }_{}$. Si hay un valor de profundidad verdadero, la pérdida de profundidad $l_{}=\Vert re\left(r\right)-D_{gt}\left(r\right)\Vert$ , en el que$D\left(r\right)$ es el resultado de la última ecuación de la Sección 3.2. La pérdida final de la red es la suma de las pérdidas anteriores.

4. Experimentar

4.1 Principales resultados

  Resultados cuantitativos : en comparación con el método SotA ImVoxelNet, NeRF-Det tiene un mejor rendimiento; el rendimiento mejora aún más después de utilizar una supervisión profunda, lo que demuestra que un mejor modelado geométrico es útil para la detección 3D. Dado que NeRF requiere una gran cantidad de iteraciones para optimizarse, este documento duplicó la cantidad de rondas de entrenamiento y obtuvo un rendimiento significativamente mejor. NeRF-Det reduce la brecha de rendimiento entre los métodos basados ​​en RGB y los basados ​​en puntos.
  Resultados cualitativos : la visualización muestra que NeRF-Det puede detectar bien escenas densas y objetos de múltiples escalas.
  Análisis del modelado de geometría de escena : esta sección compara el enfoque basado en campos de opacidad con el resto de los enfoques de modelado de geometría de escena.
  Uso de mapas de profundidad : se supone que los mapas de profundidad están disponibles durante las etapas de entrenamiento e inferencia. En este punto, cada característica de la imagen se coloca en una unidad de vóxel única según el mapa de profundidad. Intuitivamente, esto puede reducir la ambigüedad de la expresión de vóxeles. En el caso de utilizar mapas de profundidad real, el límite superior de rendimiento de NeRF-Det se puede determinar porque NeRF puede obtener un modelado geométrico de escena perfecto.
  En situaciones reales, no se puede obtener la profundidad real, por lo que este artículo utiliza NeuralRecon para representar el mapa de profundidad mediante reconstrucción geométrica fuera del cuadro delimitador. Sin embargo, los experimentos muestran que el rendimiento de este método es menor que el de ImVoxelNet, lo que indica que los errores de estimación de profundidad aumentan la incertidumbre de detección.
  Cuadrícula de volumen de costos : la forma convencional de calcular la cuadrícula de volumen de costos es utilizar la covarianza entre las vistas de origen y de referencia. Esto es similar a cómo este artículo calcula la variación de diferentes vistas. Este artículo utiliza convolución 3D para codificar la cuadrícula de volumen de costos, obtiene la cuadrícula de volumen de probabilidad a través de Sigmoide y la combina con la cuadrícula de volumen característica $V^{se\; multiplica\; unvg}$ . Los experimentos muestran que este método puede superar ligeramente a ImVoxelNet.
  Tenga en cuenta que NeRF-Det en este artículo es muy similar al método basado en la cuadrícula de volumen de costos después de eliminar la rama NeRF. La diferencia es: (1) Este artículo utiliza el valor promedio y el valor de color para mejorar el valor de variación en el cuadrícula de volumen de costos; (2) ) Este artículo utiliza MLP y funciones de opacidad en lugar de Sigmoide para modelar la geometría de la escena. Los experimentos muestran que el rendimiento de este método es cercano al del método basado en la cuadrícula de volumen de costos del párrafo anterior, y ambos pueden superar a ImVoxelNet.
  El uso de campos de opacidad para modelar la geometría de la escena puede lograr un mejor rendimiento. Esto muestra que los campos de opacidad modelan la geometría de la escena de manera más efectiva que las mallas de profundidad y volumen de costos previstas.
  En comparación con el método de primero NeRF y luego detección: en comparación con NeRF-RPN, NeRF-Det tiene un mejor rendimiento y el tiempo de inferencia se reduce considerablemente. Además, la alta sobrecarga computacional de NeRF-RPN hace que sea casi imposible entrenar en grandes conjuntos de datos.
  ¿ Puede la rama NeRF aprender la geometría de la escena? Este artículo verifica esto a través de una nueva síntesis de vista y estimación de profundidad de la rama NeRF.

4.2 Estudios de ablación

  Ablación de G-MLP y estrategia de muestreo de características : compartir G-MLP permite propagar restricciones de coherencia de múltiples vistas desde la rama NeRF a la rama de detección. El rendimiento cae significativamente en el caso de G-MLP sin compartir, donde la coherencia de múltiples vistas solo se propaga al tronco de la imagen.
  En el caso de compartir G-MLP, tanto las funciones de muestreo de imágenes de múltiples vistas como las funciones de muestreo de cuadrículas de volumen pueden superar a ImVoxelNet, y tanto la rama NeRF como la rama de detección de la primera pueden tener un mejor rendimiento. La relación proporcional entre el rendimiento de las dos ramas indica que una mejor optimización de NeRF puede conducir a un mayor rendimiento de detección.
  Estudio de ablación sobre diferentes pérdidas : Los experimentos muestran que la rama NeRF solo usa pérdida fotométrica y solo pérdida de profundidad, y el rendimiento de la rama de detección es similar, lo que indica que la consistencia RGB de múltiples vistas es suficiente para proporcionar pistas para aprender geometría. Sin ninguna pérdida, el rendimiento es similar a los métodos basados ​​en la red de volumen de costos.
  Investigación de ablación sobre diferentes características : la introducción de características de variación para mejorar puede mejorar significativamente el rendimiento, lo que indica que las características de variación de hecho pueden proporcionar antecedentes geométricos. Además, la introducción de RGB en la imagen también mejora el rendimiento, lo que demuestra que los colores de bajo nivel también pueden proporcionar pistas geométricas.
  Estudio de ablación sobre el impacto de la rama de detección en la síntesis de nuevas vistas : aunque NeRF puede promover la detección 3D a través del modelado de geometría de escena, la rama de detección tiene un impacto negativo en NeRF. Puede ser que la detección de ramas elimine los detalles de bajo nivel que requiere NeRF.

A. Conjuntos de datos y detalles de implementación

  Rama NeRF : se muestrean 2048 rayos de 10 nuevas vistas como señales de supervisión durante el entrenamiento. Durante el renderizado de malla volumétrica, si hay más de 8 puntos ubicados en el espacio vacío, el rayo se descartará y no se realizará ningún cálculo de pérdida.

C. Resultados adicionales

  Estudio de ablación sobre el número de vistas : el número de vistas utilizadas durante el entrenamiento permanece sin cambios (20) y el número de vistas cambia durante las pruebas. Se descubre que cuando aumenta el número de vistas utilizadas, el rendimiento mejora significativamente. La mejora de ImVoxelNet es limitada e incluso disminuye cuando el número de vistas supera las 100.

D. Discusión sobre la detección 3D en exteriores

  Para la detección en exteriores, pueden existir las siguientes dificultades: dificultad para garantizar la coherencia de múltiples vistas de los objetos en movimiento; cuadrícula de volumen de escena ilimitada; condiciones de iluminación que cambian rápidamente (lo que afecta la precisión RGB).