Durant la conférence Vision 2024, réservée à ses clients et partenaires, Intel a présenté Gaudi 3, un accélérateur d’intelligence artificielle qui serait capable de rivaliser avec le H100 de NVIDIA.
Bien que ce dernier ait près de deux ans, le soutien d’une telle comparaison rendrait crédible l’offre de Intel.
Gaudi 3 offrirait une vitesse d’inférence 50 % supérieure à celle du H100, avec une efficience énergétique 40 % supérieure en moyenne, pour une fraction du coût.
Si l’on doit féliciter Intel pour comparer les performances avec les propres chiffres de son concurrent, ces analyses comparatives ne sont pas encore vérifiées par des tiers indépendants, et il s’agit souvent de projections.
Des échantillons de l’accélérateur Gaudi 3 seraient envoyés en ce moment aux partenaires de Intel. Il serait produit en masse au deuxième semestre.
Le Gaudi 3 est une évolution, plus qu’une révolution, du Gaudi 2.
Il est fabriqué par TSMC en 5 nm, contre 7 nm pour le second, incorpore 8 moteurs matriciels et 64 cœurs tenseurs (contre respectivement 2 et 24 pour le Gaudi 2), 128 Go de mémoire HBM2E (96 Go pour le Gaudi 2) avec une dissipation thermique de 900 W, en augmentation de 50 %, grâce au passage de l’interface OAM 1.1 à 2.0.
On peut s’étonner que Intel n’ait ni choisi le nœud 3 nm de TSMC, ni même le 4 nm ; ni la mémoire HBM3E, ni même la HBM3.
Intel annonce des performances de 1 835 TFLOPS en précision FP8, soit plus du double du Gaudi 2.
Plus étonnant, les performances seraient les mêmes en BF16, alors que les performances diminuent généralement à mesure que la précision augmente.
D’un point de vue architectural, le Gaudi 3 est composé de deux puces interconnectées.
Alors que NVIDIA a développé une interconnexion NVLINK à très haute vitesse, Intel fait le pari que les interconnexions à la norme Ethernet seront suffisamment rapides (200 Gbps), et suffisamment extensibles pour satisfaire les besoins, avec 24 liens Ethernet par accélérateur.
Intel recommande 21 liens pour les échanges entre les deux puces du Gaudi 3, et 3 liens pour interconnecter l’accélérateur avec les 7 autres d’une grappe de huit.
