Un método que logra resultados de vanguardia para sintetizar vistas novedosas de escenas complejas mediante la optimización de una función de escena volumétrica continua subyacente utilizando un conjunto disperso de vistas de entrada. El algoritmo representa una escena utilizando una red profunda (no convolucional) completamente conectada, cuya entrada es una sola coordenada 5D continua (ubicación espacial( x , y, z)y dirección de visualización( θ , ϕ )) y cuya salida es la densidad de volumen y la radiancia emitida dependiente de la vista en esa ubicación espacial. Sintetizamos vistas consultando coordenadas 5D a lo largo de los rayos de la cámara y usando técnicas clásicas de representación de volumen para proyectar los colores y densidades de salida en una imagen. Debido a que la representación de volumen es naturalmente diferenciable, la única entrada requerida para optimizar nuestra representación es un conjunto de imágenes con poses de cámara conocidas.
Describimos cómo optimizar de manera eficaz los campos de radiación neuronal para generar vistas novedosas fotorrealistas de escenas con geometría y apariencia complicadas, y demostramos resultados que superan el trabajo previo en la representación neuronal y la síntesis de vistas. Los resultados de la síntesis de vista se ven mejor como videos, por lo que instamos a los lectores a ver nuestro video complementario para realizar comparaciones convincentes.
