Cette IA utilisée par des hôpitaux invente des médicaments inexistants et fait preuve de racisme

Dans le cadre d’une nouvelle enquête de l’Associated Press, des dizaines d’experts ont découvert que Whisper, un outil de transcription basé sur l’intelligence artificielle créé par OpenAI, fait preuve d’inexactitudes fréquentes dans les hôpitaux. Explications.

Même si OpenAI a affirmé que son modèle d’IA ne devrait pas être utilisé dans les domaines à haut risque, plus de 30 000 professionnels de santé et 40 systèmes de santé utilisent Nabla, un outil construit sur Whisper, pour transcrire et résumer les interactions avec les patients.

Lire aussi Regardez cette vidéo hilarante d’un robot-taxi qui a perdu le contrôle dans un rond-point

« Dans un environnement médical, cela pourrait avoir des conséquences vraiment graves », a déclaré à l’Associated Press Alondra Nelson, professeur à l’Institute for Advanced Study. « Personne ne veut d’un mauvais diagnostic. La barre devrait être plus haute. » Martin Raison, directeur technique de Nabla, a déclaré que l’outil avait été affiné pour le langage médical. Malgré tout, il ne peut échapper au manque de fiabilité.

Comme l’ont rapporté les experts, Whisper a fait preuve de racisme envers les patients, a décrit des actes violents et sexuels qui n’avaient aucun fondement ou encore a inventé des médicaments inexistants. Ils ont même constaté qu’il a utilisé des jargons de YouTubeur, comme un « aimer et s’abonner ». « Dans l’ensemble, près de 40 % de ces erreurs étaient préjudiciables ou préoccupantes, a conclu l’équipe, car elles pouvaient facilement déformer ce que l’orateur avait réellement dit. »

We noticed in 2023 that, even when an audio file had ended, Whisper had a habit of hallucinating additional sentences that were never spoken. And, re-running Whisper on the same file yielded different hallucinations – see below example (hallucinations in red) (1/14) pic.twitter.com/uXrI6P58gj

— Allison Koenecke (@allisonkoe) June 3, 2024

Même si les responsables de Nabla sont conscients des problèmes de leur outil, ils ne semblent pas empêcher l’utilisation de cette technologie d’IA qui est extrêmement peu fiable, voire dangereuse, pour le domaine médical. Qu’en pensez-vous ?

Lire aussi Un robot en forme de pneu et équipé de gaz lacrymogène testé par la police en Chine

Par ailleurs, voici comment se terminera une guerre entre l’intelligence artificielle et l’humanité.