NeRF 3D: Cómo crear entornos fotorrealistas con IA
*Con la colaboración de Javier Cantón.
NeRF 3D: Qué es y cómo funciona
Neural Radiance Field (NeRF) es una tecnología que revoluciona la representación de espacios 3D. Visualizar entornos fotorrealistas desde diferentes puntos de vista con un alto nivel de compresión de los datos abre nuevas posibilidades para diferentes sectores industriales, que van desde los gemelos digitales a la creación de escenarios para el sector de medios de comunicación, con producciones más rápidas de contenido.
Las escenas se pueden reproducir como una malla triangular. En cada parte visible se hace un shader que hace la inferencia en el color del píxel de salida. Tras representar la malla como una cuadrícula, se usa el algoritmo de aprendizaje multicapa MLP para recrear las características y opacidad de cada punto. Están surgiendo nuevos algoritmos que mejoran el rendimiento del procesamiento de estas escenas complejas.
Puddles are fun… jump in! Once again having fun with reflections and NeRF. Trained and rendered using NeRFStudio running nerfacto – @nerfstudioteam.
#NeRF #nerfstudio #nerfacto #neuralrendering #mirrorworld #montreal pic.twitter.com/zjf5IIjKbg— Hugues Bruyère (@smallfly) November 27, 2022
Los NeRF se pueden reproducir con éxito en diversidad de dispositivos, como demuestra la imagen inferior, procedente del paper MobileNeRF:
Hasta ahora, la tecnología para conseguir un resultado similar era la fotogrametría: mediante muchas imágenes se generaba una representación tridimensional con mayor o menor detalle. Esta tecnología se ha visto superada por el uso de la inteligencia artificial, que es en lo que se apoya NeRF. La ventaja de NeRF es que puede captar los elementos de una escena de forma volumétrica. Esto significa que, a diferencia de la fotogrametría, es capaz de representar correctamente objetos transparentes o metálicos con reflejos. Esto ayudaría a la visualización de productos que ahora tienen dificultad para verse, debido a que usan material plástico transparente o cuentan con una protección metálica con reflejos que la fotogrametría no captura adecuadamente.
El equipo de Research de Plain Concepts ya está integrando esta tecnología en Evergine, nuestro motor gráfico industrial 3D. El resultado se puede ver a continuación:
En otro ejemplo, uno de nuestros compañeros usó dos imágenes del patio trasero de su casa para recrearlo y simular una visita. Para ello, usó Azure Machine Learning, COLMAP (una herramienta gratuita, descargable en Github, que recopila colecciones de imágenes para construir objetos 3D), Nerfstudio (una API para simplificar el proceso de diseño de las NeRF) y modelos mip-NeRF 360, adecuados para escenas en las que la ‘cámara’ tiene que girar 360 grados. El resultado es una imagen estática que bien podría haber grabado un dron o una cámara desde una grúa.
Instant NeRF
Basado en NeRF, NVIDIA ha lanzado Instant NeRF, que convierte fotos en escenas 3D con la ayuda de la inteligencia artificial. Como se puede ver en el siguiente vídeo, con cuatro fotos y una red neuronal es posible crear una imagen estática de 360 grados.
El uso de la inteligencia artificial es muy importante para conseguir una escena que recuerda a las vistas con Google Street View. Como dice el vídeo de NVIDIA, «la IA está convirtiendo fotos 2D en escenas 3D en segundos».
Usos de la NeRF para tu empresa
Gemelos digitales en el sector inmobiliario y en smart cities
Entre los posibles usos de la NeRF está el perfeccionamiento de los gemelos digitales para la construcción de edificios o el desarrollo de smart cities: a partir de ahora es posible conseguir réplicas más detallistas que ayuden a tomar mejores decisiones.
Medios de comunicación
Dentro de la industria de los medios de comunicación, más en concreto en el área de informativos, los reporteros podrían recrear el escenario de una catástrofe, un atentado o una entrega de premios con unas fotografías y NeRF, para después narrar con tecnología inmersiva lo que allí ha sucedido. Además, en otras áreas, como programas de entretenimiento, a las productoras les interesa NeRF para generar decorados muy realistas en apenas unas horas, que sustituirían a las actuales reproducciones 3D. Esto abarata costes en la construcción de escenarios y, al mismo tiempo, nos permite tener una televisión con un componente audiovisual mucho más rico, inimaginable hace unas décadas.
Aplicaciones de realidad mixta en interiorismo
Además de recrear escenarios reales solo con fotografías, la NeRF permite incluir objetos virtuales en estos espacios. Esto ayuda a mejorar la experiencia en aplicaciones de realidad mixta; por ejemplo, si tu empresa vende muebles u objetos de decoración para hogares, podrías desarrollar una aplicación para que los usuarios añadan fotos de sus habitaciones, generen un vídeo con ellas y le incluyan recreaciones de tus productos, con el fin de comprobar si encajan con el color de las paredes, el tamaño de la sala u otro mobiliario, y que así tomen una decisión de compra.
En Plain Concepts estamos trabajando para que, una vez entrenado un modelo NeRF, este se visualice en tiempo real y que la audiencia se mueva por el espacio.
Otros usos
Además, en la actualidad se está trabajando en el desarrollo de técnicas NeRF dinámicas que generarían vídeos tridimensionales a través de fotografías. Así, con unas gafas de realidad virtual, caminaríamos en un espacio real recreado a través de estas imágenes. Igualmente, podría servir para avanzar en la holoportación.
NeRF se puede integrar con Point Cloud como una capa que se superpone a esta nube de puntos y permite hacer trabajos más precisos, como mediciones de espacios. Por tanto, esta nueva tecnología también ayuda en procesos de RealityCapture.
Si quieres seguir explorando las posibilidades de NeRF e Instant NeRF para tu empresa, cuenta con nosotros.
