L’intelligence artificielle n’est même pas capable d’accomplir cette simple tâche

Récemment, des chercheurs de l’université d’Édimbourg, en Écosse, ont constaté que les modèles d’intelligence artificielle capables de traiter du texte et des images, autrement appelés des modèles multimodaux de langage à grande échelle, ou MLLM, ne peuvent lire les cadrans d’horloge analogiques que dans 25 % des cas. Explications.

Dans un article, les chercheurs en informatique de l’IA ont expliqué que Gemini de Google était le meilleur lorsqu’ils ont testé les MLLM de cette entreprise, d’OpenAI, d’Anthropic et d’autres pour évaluer leur capacité à lire les cadrans d’horloge et les calendriers annuels. Ils ont constaté que tous les modèles testés semblaient confrontés à la « combinaison de perception spatiale, de contexte et de mathématiques de base nécessaire à la lecture de l’heure et des dates ».

Lire aussi ChatGPT s’offre enfin un générateur d’images d’un niveau jamais vu

L’article précisant : « Les chercheurs ont testé différents modèles d’horloges, dont certaines avec chiffres romains, avec et sans trotteuse, et des cadrans de différentes couleurs. Leurs résultats montrent que les systèmes d’IA, au mieux, ont obtenu la bonne position des aiguilles moins d’un quart du temps. Les erreurs étaient plus fréquentes avec les horloges à chiffres romains ou à aiguilles stylisées. »

Lors des tests, les spécialistes ont aussi constaté qu’ils étaient légèrement meilleurs pour lire les dates que les heures, mais seulement légèrement. GPT-o1, la première génération de modèles de raisonnement d’OpenAI, a obtenu le meilleur score, répondant correctement aux questions sur les dates dans 80 % des cas. Pourtant, il a répondu incorrectement à un cinquième des questions qui lui ont été posées, comme « Quel jour de la semaine est le jour de l’An ? » ou « Quel est le 153e jour de l’année ? ».

« Même si la plupart des gens peuvent lire l’heure et utiliser des calendriers dès leur plus jeune âge, l’IA semble avoir du mal à réaliser ce que sont des compétences assez basiques pour les gens », a déclaré dans un communiqué Rohit Saxena, auteur principal de l’étude. « Ces lacunes doivent être comblées si l’on veut que les systèmes d’IA soient intégrés avec succès dans des applications concrètes et sensibles au temps telles que la planification, l’automatisation et les technologies d’assistance. »

Lire aussi Une intelligence artificielle refuse d’aider un utilisateur et lui demande de ne plus être paresseux

Par ailleurs, voici comment se terminera une guerre entre l’intelligence artificielle et l’humanité.