La reconstrucción 3D es una tarea importante en la visión artificial, cuyo objetivo es recuperar la geometría y la apariencia de escenas 3D a partir de imágenes 2D. Los métodos de reconstrucción 3D tradicionales generalmente requieren múltiples imágenes o sensores de profundidad como entrada y luego estiman el modelo 3D de la escena a través de un complejo proceso de optimización. Sin embargo, estos métodos enfrentan algunos desafíos, como manejar datos incompletos o ruidosos, manejar escenas dinámicas, manejar superficies altamente texturizadas o reflectantes, etc.
En los últimos años, los métodos de reconstrucción 3D basados en Neural Radiance Fields (NeRF) han atraído una gran atención. NeRF es una representación novedosa que utiliza una red neuronal profunda para codificar implícitamente la geometría de la escena y la información de apariencia. Dado un ángulo de visión y una coordenada 3D, NeRF puede predecir la intensidad y la densidad de la radiación en esa ubicación, de modo que las imágenes desde cualquier ángulo de visión puedan sintetizarse mediante la representación de volumen. NeRF tiene algunas ventajas, como la capacidad de reconstruir escenas 3D de alta calidad a partir de una pequeña cantidad de imágenes, puede manejar efectos complejos de iluminación y oclusión, puede representar escenas con detalles infinitos, etc.
Este artículo presentará los métodos de vanguardia de la reconstrucción 3D basada en NeRF y los documentos correspondientes a estos métodos. Clasificaremos y resumiremos estos métodos según los siguientes aspectos:
- Datos de entrada: los diferentes métodos utilizan diferentes tipos y cantidades de datos de entrada, como imágenes únicas, imágenes múltiples, secuencias de video, nubes de puntos dispersos, etc.
- Estructura de red: diferentes métodos utilizan diferentes estructuras de red para representar NeRF, como perceptrón multicapa (MLP), red neuronal convolucional (CNN), red neuronal recurrente (RNN), codificador automático variacional (VAE), etc.
- Objetivos de entrenamiento: diferentes métodos utilizan diferentes objetivos de entrenamiento para optimizar NeRF, como minimizar el error de reconstrucción, maximizar la función de probabilidad, minimizar la pérdida por adversario, etc.
- Campos de aplicación: se han mejorado y ampliado diferentes métodos para diferentes campos de aplicación, como la reconstrucción de rostros, la reconstrucción del cuerpo humano, la reconstrucción dinámica de escenas, la reconstrucción editable, etc.
A continuación, presentaremos los contenidos específicos y trabajos relacionados de estos aspectos respectivamente.