Cette IA transforme des photographies en un monde 3D explorable

Un nouvel algorithme peut transformer des images fixes en un monde 3D haute résolution et explorable, avec des implications potentielles pour le cinéma et la réalité virtuelle.

Des propriétés physiques déduites à partir d’images fixes

Dans le cadre de travaux pré-publiés sur le serveur ArXiv, Darius Rückert et ses collègues de l’université d’Erlangen-Nuremberg en Allemagne ont développé un algorithme capable de déduire des propriétés physiques à partir d’images fixes. Ce qui constitue une première. Lorsqu’il est alimenté avec une sélection de clichés 2D d’une scène, leur réseau neuronal est capable de visualiser et de comprendre l’aspect et l’éclairage des images, fournissant ainsi les données nécessaires à la création d’un environnement 3D à l’aide du logiciel COLMAP.

Lire aussi Cette IA utilisée par des hôpitaux invente des médicaments inexistants et fait preuve de racisme

« Nous pouvons changer la pose de la caméra et donc obtenir une nouvelle vue de l’objet », détaille Rückert. « Techniquement, notre système pourrait créer un environnement 3D explorable à partir de deux images seulement, mais le résultat serait aléatoire. Plus vous avez d’images, meilleure est la qualité. Le modèle ne peut créer des choses qu’il n’a pas vues. »

Visibles dans la vidéo ci-dessous, certains des exemples les plus frappants d’environnements en trois dimensions générés grâce à cette nouvelle approche s’appuient sur 300 à 350 images capturées sous différents angles. L’équipe espère améliorer le système en lui faisant simuler la façon dont la lumière se reflète sur les objets de la scène pour atteindre la caméra, ce qui signifierait que moins d’images fixes seraient nécessaires pour obtenir un rendu 3D précis.

« La qualité du rendu est inégalée et démontre que le photoréalisme automatisé est possible »

« Jusqu’à présent, la création d’images photoréalistes à partir de reconstructions 3D n’était pas entièrement automatisée et présentait toujours des défauts perceptibles », explique Tim Field, fondateur de la société Abound Labs, qui développe des logiciels de capture 3D. « Bien que ce nouveau système nécessite encore la saisie de données 3D précises et ne fonctionne pas pour les objets en mouvement, la qualité du rendu est inégalée et démontre que le photoréalisme automatisé est possible. »

Lire aussi Un robot joue du violoncelle avec un orchestre symphonique, une première mondiale

Selon l’expert, une telle technologie permettrait de générer des effets visuels pour le cinéma et des reconstructions en 3D hautement détaillées de lieux célèbres explorables en réalité virtuelle. « Elle va accélérer le domaine de recherche déjà très dynamique du rendu basé sur l’apprentissage automatique pour l’imagerie générée par ordinateur », conclut-il.