Des chercheurs ont dévoilé le WSE-3, la plus grande puce informatique au monde. Cette centrale pilotera un supercalculateur de nouvelle génération promettant une augmentation de vitesse stupéfiante 8 fois supérieure à ce qui est actuellement disponible sur le marché. Cette avancée ouvre notamment la voie à un développement plus rapide de l’IA.
Un concurrent de taille pour Nvidia
Avec l’émergence de l’intelligence artificielle, de nombreux scientifiques se sont lancés dans la fabrication de puces informatiques toujours plus rapides, plus performantes et plus grandes. La dernière percée en la matière a notamment été réalisée par la société américaine d’IA, Cerebras. Récemment, les ingénieurs de Cerebras ont dévoilé le « Wafer Scale Engine 3 » (WSE-3), la troisième version de puce IA développée par l’entreprise, mais aussi le plus grand semi-conducteur au monde.
Le WSE-3 est une puce de 21,5 sur 21,5 centimètres. Elle double les performances de son prédécesseur, le WSE-2 (qui a été développé en 2021), tout en conservant la même consommation électrique et le même prix. Cet exploit impressionnant a été réalisé en utilisant un processus de fabrication de pointe en 5 nanomètres, permettant de regrouper davantage de transistors dans un espace plus petit. De plus, le WSE-3 dispose de 900 000 cœurs optimisés pour l’IA, spécialement conçus pour gérer les calculs complexes requis pour la formation de modèles d’IA avancés.
Le WSE-3 double le taux d’instructions exécutées, de 62,5 pétaflops à 125 pétaflops. Notons qu’un pétaflop fait référence à un quadrillion d’opérations à virgule flottante par seconde. Cela se traduit par une amélioration de 8 fois par rapport au détenteur actuel du record, à savoir l’unité de traitement graphique (GPU) Nvidia H200. Il est d’autant plus étonnant de savoir que ce GPU ultraperformant de Nvidia possède 80 milliards de transistors, soit 57 fois moins que celui de Cerebras.
Une technologie qui promet de changer la donne pour l’entrainement des systèmes d’IA
Mais le véritable potentiel du WSE-3 réside dans son rôle en tant que cœur du supercalculateur de Cerebras, Condor Galaxy 3 (CS-3). Cette centrale d’IA devrait offrir une performance maximale de 8 exaflops (1 exaflop équivaut à 1 000 pétaflops) de puissance de calcul. Ensuite, combiné aux systèmes Condor Galaxy 1 et Condor Galaxy 2, l’ensemble du réseau atteindra un total de 16 exaflops. À titre de comparaison, le supercalculateur le plus puissant au monde à l’heure actuelle est le supercalculateur Frontier du laboratoire national d’Oak Ridge, qui génère environ 1 exaflop de puissance.
Avec une telle puissance de traitement, la centrale de Cerebras permettra aux chercheurs de former des modèles d’IA avec des milliards de paramètres, repoussant ainsi les limites de l’intelligence artificielle. Pour illustrer ce potentiel phénoménal, Cerebras a expliqué que CG-3 sera utilisé pour former de futurs systèmes d’IA jusqu’à 10 fois plus gros que GPT-4 d’OpenAI ou Gemini de Google. GPT-4, par exemple, utilise environ 1,76 milliard de variables pour entraîner son système. Une fois achevé, le CG-3 devrait pouvoir gérer des systèmes d’IA avec environ 24 000 milliards de paramètres.
Par ailleurs, voici comment se terminera une guerre entre l’intelligence artificielle et l’humanité.
