Cet outil débusque les deepfakes à partir de minuscules reflets dans les yeux

Médias artificiels créés à l’aide d’algorithmes d’apprentissage profond, les deepfakes constituent une menace grandissante. Des scientifiques américains ont conçu un outil permettant d’identifier des visages détournés en analysant les reflets dans leurs yeux.

« Toutes les sources de lumière que notre œil capte seront visibles sur la cornée »

Grâce aux progrès de l’intelligence artificielle, ces contenus vidéo trafiqués deviennent de plus en plus convaincants, comme l’a récemment montré le deepfake de Tom Cruise sur TikTok, et constituent une menace croissante en matière de diffusion de fausses informations. Afin de lutter contre ce phénomène, des chercheurs de l’université de Buffalo ont développé un outil analysant les minuscules reflets dans les yeux pour les débusquer. Présentée dans un papier téléchargeable sur le serveur de prépublication ArXiv, cette technologie affiche une fiabilité de 94 %.

Lire aussi Des drones de la taille d’une voiture effraient New York et personne ne sait qui les pilote

Le reflet de ce que nous regardons apparaît dans nos deux yeux sous la même forme et la même couleur. S’appuyant sur cette caractéristique, l’informaticien Siwei Lyu a cherché à mettre au point un nouvel outil de détection des deepfakes en exploitant les minuscules déviations de ces reflets.

« La cornée pourrait presque être décrite comme une demi-sphère parfaite et se révèle particulièrement réfléchissante », explique Lyu. « Ainsi, toutes les sources de lumière que notre œil capte seront visibles sur la cornée. Les deux yeux devraient avoir des motifs de réflexion très similaires, car ils voient la même chose. C’est quelque chose que nous ne remarquons généralement pas lorsque nous regardons un visage. »

Une caractéristique que l’on ne retrouve pas dans les deepfakes actuels, probablement en raison du grand nombre d’images différentes utilisées pour les créer. L’outil conçu par les chercheurs s’attaque à cette faille en cartographiant d’abord le visage, puis en examinant les yeux, les globes oculaires et la lumière réfléchie dans chacun d’eux. L’algorithme compare ensuite les différences de forme, de lumière et d’intensité de la lumière réfléchie.

Lire aussi Elon Musk affirme maintenant que les sans-abris n’existent pas…

Des outils de détection essentiels

En expérimentant sa technologie sur un ensemble de portraits, l’équipe a constaté que cette dernière était capable d’identifier plus de 9 images truquées sur 10. Malgré ces résultats prometteurs, l’équipe note que l’approche présente encore plusieurs limites. Parmi elles, le fait que ces déviations puissent être corrigées par un logiciel d’édition et que l’image doive présenter une vue claire de l’œil pour que la technique fonctionne.

Quoi qu’il en soit, ces travaux jettent les bases qui permettront le développement d’outils de détection de plus en plus perfectionnés, à mesure que les deepfakes s’amélioreront.

« Une bonne partie de ces séquences vidéo ont été créée à des fins pornographiques, à l’origine d’importantes séquelles psychologiques chez les personnes en ayant été victimes », souligne Lyu. « Il y a aussi l’impact politique potentiel, avec des séquences montrant des politiciens disant ou faisant quelque chose qu’ils ne sont pas censés faire. »

Lire aussi Des tracteurs intelligents deviennent fous à cause d’un signal en provenance de l’espace