Une nouvelle frontière va se briser : la langue des signes sera bientôt traduite en temps réel

Le géant de la recherche se penche actuellement sur la possibilité de traduire la langue des signes en temps réel. Une tâche qui s’avère dantesque mais dont les chercheurs, aidés par l’intelligence artificielle et l’apprentissage automatique, espèrent arriver à bout.

Des progrès intéressants ont déjà été accomplis

A l’heure actuelle, les progrès technologiques ont déjà permis à des ordinateurs d’apprendre la langue des signes en regardant la télévision ou encore, d’utiliser des gants bardés de capteurs pour capter les gestes de la main et de les décrypter via une synthèse vocale. Les travaux de Google s’inscrivent dans le même ordre d’idée.

Le projet est mené par deux ingénieurs, Valentin Bazarevsky et Fan Zhang qui, dans une publication technique parue le 19 août dernier, ont présenté leur technologie de détection automatique des gestes. Il s’agit d’un système permettant de suivre les mouvements de la main en temps réel et de percevoir les différentes parties de la main utilisées par rapport à la caméra.

Une difficulté non dissimulée

Les deux ingénieurs déclarent que « la perception de la main en temps réel est un travail de vision par ordinateur très difficile, car les mains s’occultent souvent elles-mêmes ou les unes les autres et manquent de motifs très contrastés ».

Pour suivre les mouvements, le système utilise l’apprentissage automatique et mobilise des algorithmes. La main est ainsi cartographiée en 21 points reliés par des lignes blanches ou grises représentant la proximité de la main par rapport à la caméra. Mais ce n’est pas tout.

Un autre point fort de ce système, comme le déclarent les ingénieurs, est que leur méthode « permet d’obtenir des performances en temps réel sur un téléphone mobile » au lieu des « approches actuelles reposant principalement sur de puissants environnements de bureau ». Ainsi, la méthode de Google pourrait un jour être ouverte au grand public.

Il reste un long chemin à parcourir

Malgré l’avancée encourageante que les ingénieurs de Google ont faite dans la détection des gestes en temps réel, il reste encore de grands défis à surmonter. Notamment décomposer, identifier et interpréter la langue des signes et surtout rendre le système utilisable d’un pays à l’autre vu qu’il n’existe pas de langue des signes universelle.

Néanmoins, les chercheurs comptent bien améliorer la robustesse et la fiabilité de leur approche en élargissant le nombre de gestes détectables. Ils déclarent : « Nous croyons que la publication de cette technologie peut donner une impulsion à de nouvelles idées créatives et applications par les membres de la communauté de la recherche et du développement. »