Des scientifiques américains ont dévoilé une approche permettant de reconstruire en trois dimensions l’environnement dans lequel le sujet se trouve en analysant ses yeux.
« Champ de rayonnement neuronal »
Si ce procédé, connu sous le nom de « champ de rayonnement neuronal » (NeRF), avait précédemment été utilisé pour transformer quasi instantanément des images et des vidéos 2D en scènes 3D, les chercheurs de l’université du Maryland viennent de franchir une nouvelle étape en s’appuyant uniquement sur les reflets de différents éléments dans nos globes oculaires.
Détaillée dans un article pré-publié sur le serveur arXiv, l’approche implique la prise de plusieurs clichés haute résolution d’une personne se déplaçant dans une pièce. Les reflets dans la cornée sont ensuite retournés et analysés, et la distorsion liée à sa forme incurvée ainsi que la couleur et les détails que l’iris pourrait ajouter, supprimés. Les images obtenues sont ensuite utilisées pour créer des modèles 3D de l’environnement du sujet.
Bien que ceux-ci se révèlent actuellement assez sommaires (il est possible de distinguer les objets présents dans la pièce, mais pas dans les moindres détails, et l’équipe a dû utiliser un éclairage spécifique pour accentuer leurs contours), cette technologie digne de Mission impossible va continuer à être affinée dans les mois qui viennent.
Une résolution élevée nécessaire
Ayant impliqué des clips vidéo de Miley Cyrus et de Lady Gaga, les tests en « conditions réelles » se sont révélés moins concluants. En raison de la faible résolution des images, l’équipe a uniquement pu déduire que la première se trouvait face à un projecteur quand la seconde fixait ce qui ressemblait vaguement à un torse humain.
Quoi qu’il en soit, ces travaux démontrent une nouvelle fois la quantité impressionnante d’informations qu’il est possible d’extraire d’images ou de scènes apparemment anodines.
En 2014, le MIT s’était notamment illustré en parvenant à reconstruire une partie des sons émis à l’intérieur d’une pièce scellée en se basant uniquement sur une vidéo à haute vitesse de la distorsion d’un sachet de chips provoquée par les ondes sonores.
