Polaroid du futur: le nouveau réseau de neurones de NVIDIA transforme les images 2D en modèles 3D

Société NVIDIA introduit son nouveau réseau de neurones, appelé Instant NeRF. Elle colle instantanément une série de photos 2D et termine l'image en une scène en trois dimensions. En conséquence, un objet d'une image plate devient tridimensionnel.

Ce réseau de neurones a été surnommé le "Polaroid du futur" car le modèle 3D fini est obtenu en quelques secondes. En hommage à la marque Polaroid, NVIDIA Research a recréé la photographie emblématique d'Andy Warhol en 3D.

Les développeurs notent: Instant NeRF utilise le rendu inverse pour se rapprocher du comportement de la lumière dans le monde réel, permettant de reconstruire une scène 3D à partir de multiples images 2D prises sous différentes coins.

Il ne faut que quelques secondes à un modèle pour apprendre à partir de dizaines de photos fixes. Également réseau neuronal doit tenir compte des données sur les angles de caméra à partir desquels les photos ont été prises.

La technologie fonctionne mieux avec des cadres où il y a un minimum de mouvement et un seul objet principal. Sinon, la scène 3D créée par l'intelligence artificielle risque d'être floue.

Instant NeRF peut être utilisé pour créer des avatars ou des scènes pour des mondes virtuels, capturer les participants à une vidéoconférence et leur environnement en 3D et reconstruire des scènes pour des cartes 3D numériques. Certes, il est impossible de tester la technologie, mais à l'avenir, NVIDIA pourrait bien en ouvrir l'accès.