Lors de sa conférence GTC 2023 du printemps, NVIDIA a lancé deux nouveaux accélérateurs graphiques : L4 et H100 NVL.
NVIDIA L4 Tensor Core GPU
Ce processeur graphique, basé sur l’architecture Ada Lovelace, est conçu pour accélérer des charges de travail de vidéo, intelligence artificielle, graphique et virtualisation avec une excellente efficience énergétique.
Le facteur de forme de l’accélérateur L4 est une carte PCIe à bas profile, équipée de 24 gigaoctets de mémoire vidéo, compatible avec le standard PCIe 4 x16 et une bande passante de 64 gigaoctets par seconde.
Sa dissipation thermique maximale s’élèverait à 72 watts.
Ses performances maximales s’échelonneraient entre 120 et 485 téraflops, en fonction du type de données (INT8, FP8, FP16, FP32, TF32 et BFLOAT16).
Un serveur équipé de 8 cartes L4 fournirait des performances vidéo 120 fois supérieures à celles d’un serveur à double processeur.
Le GPU NVIDIA L4 est disponible en aperçu privé sur Google Cloud Platform et également auprès de plus de 30 fabricants d’ordinateurs, dont Advantech, ASUS, Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo, QCT et Supermicro.
NVIDIA H100 NVL
L’accélérateur NVIDIA H100 NVL est le troisième facteur de forme de la gamme H100, après le H100 PCIe et le H100 SXM.
Il est composé de deux cartes PCIe occupant chacune deux emplacements, pour une dissipation thermique maximale configurable de deux fois 350 à 400 watts.
Équipé de 188 gigaoctets de mémoire vidéo à 7,8 téraoctets par seconde de bande passante, compatible avec les interconnexions NVLink à 600 gigaoctets par seconde et PCIe 5 à 128 gigaoctets par seconde, l’accélérateur offrirait des performances de 68 à 7 916 téraflops, en fonction du type de données (INT8, FP8, FP16, FP32, TF32, FP64 et BFLOAT16).
Cet accélérateur serait idéal pour le déploiement à l’échelle de grands modèles linguistiques, tels que ChatGPT.
Le prix de l’accélérateur n’est pas divulgué, mais l’on peut parier qu’il sera très élevé. Car jusqu’ici, pour des raisons d’optimisation de production, une des six couches de mémoire des GPU GH100 était désactivée. Pour le H100 NVL, les six couches sont activées, la puce doit donc être parfaitement produite.
Le GPU NVL H100 est attendu pour le second semestre de l’année.
|
Facteur de forme
|
H100 SXM
|
H100 PCIe
|
H100 NVL2
|
|---|---|---|---|
|
FP64
|
34 teraFLOPS
|
26 teraFLOPS
|
68 teraFLOPs
|
|
FP64 Tensor Core
|
67 teraFLOPS
|
51 teraFLOPS
|
134 teraFLOPs
|
|
FP32
|
67 teraFLOPS
|
51 teraFLOPS
|
134 teraFLOPs
|
|
TF32 Tensor Core
|
989 teraFLOPS1
|
756teraFLOPS1
|
1,979 teraFLOPs
|
|
BFLOAT16 Tensor Core
|
1,979 teraFLOPS1
|
1,513 teraFLOPS1
|
3,958 teraFLOPs
|
|
FP16 Tensor Core
|
1,979 teraFLOPS1
|
1,513 teraFLOPS1
|
3,958 teraFLOPs
|
|
FP8 Tensor Core
|
3,958 teraFLOPS1
|
3,026 teraFLOPS1
|
7,916 teraFLOPs
|
|
INT8 Tensor Core
|
3,958 TOPS1
|
3,026 TOPS1
|
7,916 TOPS
|
|
GPU mémoire
|
80 Go
|
80 Go
|
188 Go
|
|
GPU bande passante mémoire
|
3,35 To/s
|
2 To/s
|
7,8 To/s
|
|
Décodeurs
|
7 NVDEC
7 JPEG |
7 NVDEC
7 JPEG |
14 NVDEC
14 JPEG |
|
Dissipation thermique maximale (TDP)
|
Jusqu’à 700W (configurable)
|
300-350W (configurable)
|
2x 350-400W
(configurable) |
|
GPU Multi-Instance
|
Jusqu’à 7 MIGS @ 10 Go chacune
|
Jusqu’à 14 MIGS @ 12 Go chacune
|
|
|
Form factor
|
SXM
|
PCIe
Dual-slot air-cooled |
2x PCIe
Dual-slot air-cooled |
|
Interconnect
|
NVLink: 900Go/s PCIe Gen5: 128Go/s
|
NVLink: 600Go/s
PCIe Gen5: 128Go/s |
NVLink: 600Go/s
PCIe Gen5: 128Go/s |
|
Options serveurs
|
NVIDIA HGX H100 avec 4 ou 8 GPUs
NVIDIA DGX H100 avec 8 GPUs |
1–8 GPUs
|
2-4 paires
|
|
NVIDIA AI Enterprise
|
Optionnel
|
Inclus
|
Optionnel
|