TensorRT 3

Nvidia, qui est à la pointe de l’intelligence artificielle et de l’informatique haute performance avec ses cartes accélératrices et son langage CUDA, n’entend pas se laisser rattraper par la concurrence, au premier chef AMD avec ses nouvelles cartes accélératrices Radeon Instinct MI et sa jeune plateforme logicielle ROCm.

À l’occasion de la GPU Technology Conference (GTC) de Pékin, Jensen Huang, le CEO de Nvidia, a présenté le nouveau logiciel d’inférence (déduction) en intelligence artificielle TensorRT 3 le premier optimisateur au monde d’inférence en apprentissage profond, avec faible latence et haut débit.

Combiné avec les cartes accélératrices de la marque, TensorRT 3 permettrait d’accélérer les inférences jusqu’à 40 fois plus rapidement que sur un processeur généraliste, et pour dix pourcents du coût.

C’est une solution idéale pour les services d’intelligence artificielle à l’hyper-échelle, alors que la quantité des tâches d’inférences croit exponentiellement.

Paresh Kharya, en charge de l’informatique accélérée de NVIDIA, estime que le spécialiste du langage iFLYTEK devrait débourser près d’un milliard d’euros en serveurs (à base de processeurs et sans GPU accélérateur) pour offrir à chacun de ses 500 millions d’utilisateurs quotidiens 15 minutes de parole.

Un serveur Nvidia à 8 GPU pourrait remplacer 150 serveurs à processeurs pour une même tâche. Les économies pour les data centres en serveurs, espace, refroidissement et électricité avoisineraient les 90 %.

Partenaires

Huang a également profité de son discours inaugural pour informer que les géants chinois de l’Internet, Alibaba Cloud, Baidu et Tencent, mettent à jour leurs data centres en adoptant la nouvelle plateforme Nvidia Volta, en particulier le GPU Nvidia Tesla V100 qui serait le GPU le plus avancé construit pour les data centres, et le premier à dépasser les 100 téraflops pour des opérations d’intelligence artificielle.

Alibaba, Baidu, JD.com, iFLYTEK, Hikvision, Tencent et WeChat font également partie des 1 200 entreprises ayant adopté TensorRT 3.

Les fabricants de serveurs Huawei, Inspur et Lenovo utilisent l’architecture de référence Nvidia HGX pour offrir des serveurs à base de GPU Volta.

Nvidia JGX est la même conception que celle de Microsoft Project Olympus, des serveurs Big Basin de Facebook, et des supercalculateurs DGX-1 de Nvidia.

JDX, qui lance un programme pilote de livraison par drone, adopte le système sur une puce Jetsen – le « supercalculateur sur un module » – pour le traitement de l’image et l’apprentissage profond sur ses Jdrones, ainsi que son robot de livraison Jrover.

Les drones ont pour but de livrer les régions rurales difficiles d’accès. Les robots sont testés sur des campus universitaires pour le dernier kilomètre de livraison.

Nvidia GPU Ventures investit 52 millions de dollars dans la jeune pousse chinoise pour véhicules autonomes JingChi. Au total, 145 start-up dans le monde auraient adopté la plateforme Nvidia Drive PX pour leurs véhicules autonomes.