OpenAI critiqué pour avoir surestimé les capacités mathématiques de GPT-5

Une communication maladroite sur les réussites supposées de GPT-5 a jeté un trouble dans le monde de l’IA. OpenAI admet une erreur, alors que la course à l’intelligence artificielle générale s’intensifie.

GPT-5 accusé d’avoir résolu à tort des problèmes mathématiques ouverts

Tout part d’un post publié le 17 octobre par Kevin Weil, directeur produit d’OpenAI, affirmant que GPT-5 aurait résolu 10 problèmes d’Erdős encore ouverts, et fait des progrès sur 11 autres. Il s’agissait de conjectures mathématiques complexes, posées par le célèbre Paul Erdős, et suivies sur le site erdosproblems.com, géré par le mathématicien Thomas Bloom.

Lire aussi En pleine guerre, l’Ukraine conçoit ses propres drones de combat et laisse les modèles chinois loin derrière en performance

Sauf que cette affirmation était trompeuse. Comme l’a expliqué Bloom, GPT-5 n’a pas résolu ces problèmes : il a retrouvé des articles académiques contenant des solutions déjà publiées, mais peu connues. Le statut « ouvert » du site signifie simplement que lui-même n’avait pas encore connaissance de leur résolution.

GPT-5 a donc fait preuve de compétence en recherche documentaire, pas en résolution mathématique. Plusieurs chercheurs, dont Sebastien Bubeck (OpenAI), ont reconnu la confusion. « Je n’ai jamais voulu induire qui que ce soit en erreur », a-t-il écrit en supprimant son post.

Une communication jugée « embarrassante » par les concurrents d’OpenAI

La fausse bonne nouvelle n’a pas tardé à faire réagir la communauté scientifique et les acteurs majeurs de l’IA. Yann Le Cun, directeur scientifique IA chez Meta, a dénoncé une surcommunication d’OpenAI, devenue selon lui contre-productive.

Lire aussi Une IA a commencé à décrypter le langage des dauphins… et ce qu’elle entend va bouleverser notre vision du monde

Le PDG de Google DeepMind a qualifié l’incident d’« embarrassant ». Pour eux, OpenAI a mêlé enthousiasme et marketing, au détriment de la rigueur scientifique.

La véritable avancée de GPT-5 ? Une capacité impressionnante à naviguer dans la littérature scientifique, à identifier des sources et à les rapprocher de façon pertinente. Ce qui est déjà remarquable. Mais ce n’est pas une percée mathématique.

Une compétition intense autour des compétences mathématiques de l’IA

Cet incident intervient dans un contexte de compétition féroce entre acteurs de l’IA. OpenAI, Google DeepMind, Meta : tous visent le graal de l’intelligence artificielle générale (AGI), c’est-à-dire une IA capable de raisonner comme un humain.

Lire aussi Camouflé dans les abysses, ce robot-méduse chinois pourrait révolutionner l’exploration… ou l’espionnage

En juillet dernier, Sam Altman, PDG d’OpenAI, annonçait que son modèle avait obtenu une performance de niveau « médaille d’or » aux Olympiades internationales de mathématiques. Une manière de prouver que les grands modèles de langage (LLM) peuvent manipuler des concepts abstraits.

Mais tous les experts ne partagent pas cet optimisme. Lors d’une conférence donnée en janvier, Yann Le Cun qualifiait l’état actuel du machine learning de « désastreux ». Il appelait à ne pas se reposer sur les LLM, mais à développer un modèle global doté d’une représentation du monde, capable de planifier et de raisonner sur ses actions.

L’AGI, entre promesses technologiques et limites réelles

Derrière les annonces spectaculaires, une réalité persiste : les modèles actuels ont encore de sérieuses limites pour atteindre l’AGI. S’ils excellent en traitement de texte, en synthèse d’informations, ou même en logique de base, les mathématiques avancées restent un cap difficile.

Lire aussi Elon Musk veut « corriger les biais » avec Grokipedia… en supprimant les vérités qui l’accablent lui-même

OpenAI a donc reconnu une erreur de communication, tout en mettant en avant l’utilité croissante de GPT-5 comme assistant de recherche. Un modèle qui n’est pas encore mathématicien, mais qui peut déjà grandement aider ceux qui le sont.