Le deepfake de Disney offre un résultat impressionnant et se rapproche d’un rendu sur écran

À l’occasion de la conférence Eurographics 2020, Disney a dévoilé le premier deepfake considéré comme « photo-réaliste ». Son algorithme se démarque de la plupart des logiciels œuvrant dans le domaine grâce à une résolution bien plus élevée, ouvrant la voie à son utilisation dans le milieu du cinéma.

Le premier deepfake à proposer un tel niveau de détails

Si le rendu du deepfake de Disney nécessite encore quelques améliorations et ajustements avant que cette technologie puisse être employée dans les prochains blockbusters de la firme américaine, celui-ci constitue une avancée remarquable par rapport à ce qui avait pu être proposé ces dernières années. Ce pour une raison simple : sa résolution de l’ordre du mégapixel, se traduisant par une image beaucoup plus détaillée et crédible.

Lire aussi Le premier vol en wingsuit équipé d’un foil établit des records pour le vol humain

Jusqu’à présent, les algorithmes employés pour créer des deepfakes privilégiaient la fluidité des transferts faciaux à l’augmentation du nombre de pixels. Par conséquent, si les séquences retouchées pouvaient sembler impressionnantes sur l’écran d’un smartphone, les défauts devenaient beaucoup plus visibles lorsque la vidéo était diffusée sur un écran d’ordinateur ou un téléviseur.

Selon les chercheurs de Disney, la plupart des logiciels open-source disposent d’une résolution de 256 x 256 pixels, quand leur algorithme, ayant fait l’objet d’une publication détaillée, prend en charge une résolution de 1024 x 1024. Ce qui constitue une augmentation considérable.

Une technologie prometteuse pour le cinéma

Comme le montre la vidéo ci-dessus, l’approche sur laquelle se base le modèle DeepFake de Disney reste assez conventionnelle : il est capable d’intervertir les apparences de deux individus tout en conservant les expressions faciales de la cible. Et en dépit de l’augmentation de la résolution appliquée, le résultat reste encore techniquement limité en termes d’éclairage et les mouvements oculaires peu naturels.

Lire aussi Un distillateur solaire durable et (très) bon marché, fabriqué à partir de vieux pneus

Reste que ce type d’améliorations nous rapproche inexorablement de la création de deepfakes suffisamment crédibles pour être employés par de grands studios. À l’heure actuelle, les sociétés de production s’appuient sur des effets visuels traditionnels pour réaliser de tels trucages dans le milieu du cinéma, permettant notamment de faire revivre des acteurs disparus (comme Peter Cushing dans Star Wars Rogue One).

« Mais bien que ces résultats soient impressionnants, ils sont coûteux à produire et il faut généralement plusieurs mois de travail pour obtenir quelques secondes d’images », écrivent les chercheurs. En comparaison, les deepfakes nécessitent beaucoup moins de moyens une fois le modèle original créé, et peuvent produire une séquence vidéo en quelques heures (avec la puissance de calcul adéquate).