La capacité des modèles d’IA à raisonner n’est pas aussi bonne que nous le pensions

Récemment, une équipe de chercheurs d’Apple a constaté que la prétendue capacité des modèles d’intelligence artificielle à raisonner n’est pas aussi bonne que nous le pensions. Explications.

Selon une étude des scientifiques d’Apple, les capacités de raisonnement présumées des modèles de langage étendu (LLM) de pointe sont bien plus fragiles que nous le pensions. Pour réaliser leur étude, ils ont analysé le référentiel GSM8K, un ensemble de données utilisé pour mesurer les capacités de raisonnement de l’IA, composé de milliers de problèmes mathématiques. Ils ont découvert qu’une simple modification des problèmes donnés, comme changer un numéro ou le nom d’un personnage, provoque une augmentation massive des erreurs de l’IA.

Lire aussi Regardez cette vidéo hilarante d’un robot-taxi qui a perdu le contrôle dans un rond-point

En d’autres termes, lorsque les chercheurs ont apporté des modifications subtiles aux questions GSM8K qui n’ont pas eu d’impact sur la mécanique du problème, les modèles d’IA de pointe n’ont pas réussi à suivre. « Cela suggère que les modèles d’IA ne raisonnent pas réellement comme les humains, mais s’engagent plutôt dans une recherche de modèles plus avancée basée sur des données d’entraînement existantes », ont expliqué les experts.

Les scientifiques ajoutant : « Nous émettons l’hypothèse que ce déclin est dû au fait que les LLM actuels ne sont pas capables de raisonnement logique authentique. Au lieu de cela, ils tentent de reproduire les étapes de raisonnement observées dans leurs données de formation. »

Les résultats de cette étude remettent donc en question non seulement l’intelligence des modèles d’IA de pointe, mais aussi la précision des méthodes actuelles que nous utilisons pour évaluer et commercialiser ces modèles. « Il est essentiel de comprendre les véritables capacités de raisonnement des LLM pour les déployer dans des scénarios réels où la précision et la cohérence ne sont pas négociables, en particulier dans les domaines de la sécurité de l’IA, de l’alignement, de l’éducation, des soins de santé et des systèmes de prise de décision. Nos conclusions soulignent la nécessité de méthodes d’évaluation plus robustes et plus adaptables », a détaillé Mehrdad Farajtabar, auteur principal de l’étude et chercheur chez Apple.

Lire aussi Un robot en forme de pneu et équipé de gaz lacrymogène testé par la police en Chine

Par ailleurs, voici comment se terminera une guerre entre l’intelligence artificielle et l’humanité.