Ce superordinateur dédié à l’IA vous mettra au chômage beaucoup plus rapidement

Nvidia a dévoilé un nouveau type de superordinateur. Reposant sur une architecture innovante, de tels systèmes sont destinés à former la prochaine génération de modèles d’IA.

Le Nvidia DGX GH200

Affichant une puissance théorique d’un exaflop (un milliard de milliards d’opérations en virgule flottante par seconde), le Nvidia DGX GH200 se compose de 256 « super-puces » GH200. Il dispose également de 144 téraoctets (To) de mémoire partagée, soit 500 fois plus que le précédent superordinateur de Nvidia, le DGX A100, dévoilé il y a tout juste trois ans.

Chaque super-puce GH200 intègre un processeur (CPU) Grace et un processeur graphique (GPU) Tensor Core H100. Impliquant une consommation électrique jusqu’à cinq fois plus faible, une telle architecture offre également un gain de bande passante énorme, avec une quantité de données transférées entre le GPU et le CPU jusqu’à sept fois plus importante qu’avec la dernière version en date de la technologie conventionnelle PCI-Express.

Selon le géant technologique américain, grâce à la technologie d’interconnexion propriétaire NVLink, les 256 super-puces GH200 fonctionnent essentiellement comme un GPU géant, qui permettra de former les prochains modèles d’IA générative en un temps record. Parmi les premières entreprises à en bénéficier figurent Microsoft (qui investit massivement dans la société à l’origine de ChatGPT), Meta et Google.

Announced at #COMPUTEX2023: The #NVIDIADGX GH200 #AI Supercomputer connects 256 Grace Hopper Superchips into a massive, 1-Exaflop, 144TB GPU for giant models powering #generativeAI, recommender systems, and data processing. Learn more now: https://t.co/dyfz5WJq1M pic.twitter.com/eSEPBg0bMs
— NVIDIA Data Center (@NVIDIADC) May 30, 2023

Un supercalculateur dans les cartons

Nvidia a également annoncé son intention de construire son propre supercalculateur basé sur le DGX GH200, baptisé Helios. Prévu pour la fin de l’année 2023, celui-ci sera composé de quatre systèmes DGX GH200, soit 1 024 super-puces GH200 interconnectées, ce qui lui permettrait de franchir la barre des 4 exaflops.

Il convient cependant de tempérer ce chiffre. Première machine à franchir le seuil de l’exaflop, le supercalculateur américain Frontier est actuellement le plus puissant au monde (1,194 exaflop). À première vue, on pourrait penser qu’Helios se révélèra quatre fois plus puissant, mais il s’avère que Nvidia se base sur une mesure moins précise appelée FP8 qui, une fois convertie en FP64 (utilisée pour classer les supercalculateurs), ne correspond plus qu’à 36 pétaflops (0,036 exaflop).

Quoi qu’il en soit, Helios et les super-puces sur lesquelles il est basé restent des outils incroyablement puissants, qui pourraient selon Nvidia produire de nouveaux modèles d’IA en quelques semaines plutôt que mois.

Par Yann Contegat, le 6 juin 2023