D'après des chercheurs, ChatGPT devient de moins en moins performant

Les développeurs de ChatGPT ne cessent de vanter leur modèle de langage. Toutefois, des scientifiques affirment qu’il est de moins en moins performant. Explications.

Dans le cadre d’une nouvelle étude, des chercheurs de Stanford et de Berkeley ont constaté que ces derniers mois, GPT-3.5 et GPT-4 ont modifié leur comportement. En effet, la précision de leurs réponses semble diminuer. « Le GPT-4 (mars 2023) était très bon pour identifier les nombres premiers (précision de 97,6 %) », ont écrit les chercheurs. « Mais le GPT-4 (juin 2023) était très médiocre sur ces mêmes questions (précision de 2,4 %). GPT-4 et GPT-3.5 comportaient plus d’erreurs de formatage dans la génération de code en juin qu’en mars. »

Cette étude semble confirmer ce que les utilisateurs disent : ChatGPT devient de plus en plus stupide. Sa dégradation devient si évidente que Peter Welinder, le vice-président d’Open AI, a tenté de dissiper les rumeurs selon lesquelles le changement était intentionnel. « Non, nous n’avons pas rendu le GPT-4 plus stupide », a-t-il tweeté. « Bien au contraire : nous rendons chaque nouvelle version plus intelligente que la précédente. Les changements dans l’expérience utilisateur pourraient être dus à une utilisation continue. Il se pourrait que lorsque vous utilisez ChatGPT plus intensément, vous commenciez à remarquer des problèmes que vous n’aviez pas vus auparavant. »

No, we haven't made GPT-4 dumber. Quite the opposite: we make each new version smarter than the previous one.

Current hypothesis: When you use it more heavily, you start noticing issues you didn't see before.
— Peter Welinder (@npew) July 13, 2023

Les chercheurs affirmant de leur côté : « Nous constatons que les performances et le comportement du GPT-3.5 et du GPT-4 varient considérablement d’une version à l’autre et que leurs performances sur certaines tâches se sont considérablement détériorées au fil du temps. Il est intéressant de se demander si le GPT-4 se renforce effectivement. Il est important de savoir si les mises à jour du modèle visant à améliorer certains aspects nuisent réellement à sa capacité dans d’autres dimensions. »

Pour aller plus loin, découvrez WormGPT, le rival de ChatGPT capable de créer des logiciels malveillants.

Par Cécile Breton, le 26 juillet 2023