Projet DistBelief de Google

En juin 2012, le New York Times créait la surprise en relatant le projet DistBelief de Google.

Avec 16 000 ordinateurs, le système avait appris à reconnaître les chats en analysant des millions de vidéos YouTube.

Ce qui semble trivial pour un être humain, qui peut compter sur des milliards de neurones et des billions de connexions neuronales, est un problème remarquablement difficile pour les ordinateurs.

Projet Adam de Microsoft

Hier, à l’occasion du 15e Microsoft Research Faculty Summit, qui se tient du 14 au 15 juillet 2014 à Redmond, Washington, Microsoft a dévoilé le Projet Adam.

Ce système d’intelligence artificiel est également spécialisé dans la reconnaissance de formes.

Lors d’un des derniers tests, le programme a analysé 14 millions d’images de la base d’images ImageNet, qui comprend 22 000 catégories, pour apprendre à reconnaître les chiens.

Harry Shum, le vice-président en charge de la technologie et de la recherche, note que Projet Adam est 50 fois plus rapide, 2 fois plus précis, et utilise 30 fois moins d’ordinateurs que DistBelief de Google !

Project Adam catégorise correctement les images dans 29,8 % des cas, contre 15,8 % pour Google et 20 % pour une personne typique.

L’approche en force avec des systèmes distribués optimisés

Trishul Chilimbi qui est à l’origine de ce projet, travaille sur le calcul intensif et l’extensibilité. Le but de ce projet était de créer un système distribué ultra-performant, et de prouver qu’une approche en force est viable pour l’apprentissage automatique, sans avoir besoin de spécialistes de l’apprentissage.

Le problème de la reconnaissance de forme a été choisi car c’est l’un des domaines où un très grand nombre de données, en l’occurrence des images, est disponible.

Beaucoup doutaient de cette approche, car l’apprentissage automatique est considéré comme fondamentalement synchrone.

Mais l’équipe de Chilimbi a réussi à prouver qu’une approche asynchrone, qui ne pénalise pas autant les systèmes distribués, était possible.

Des parallèles avec l’apprentissage humain

Projet Adam utilise une représentation hiérarchique de l’apprentissage qui mimique l’apprentissage humain.

Le réseau neuronal profond à six couches de convolution semble optimal.

Apparemment, les recherches sur le cortex humain ont aussi montré qu’il est constitué de six couches de neurones.

Chaque couche de neurones apprend des concepts de plus haut niveau que la couche précédente. Au sommet, on trouve les concepts de haut niveau comme les plantes ou l’écriture.

Il semblerait que dans la biologie comme dans les réseaux neuronaux informatiques, les rendements sont décroissants à chaque couche.

Dans le projet Adam par exemple, la première couche apprend le contour d’un chien, la deuxième peut apprendre les textures d’un chien. La troisième pourrait apprendre les parties du corps comme la forme d’une oreille ou d’un œil. La quatrième couche apprendrait les parties plus complexes, la cinquième les concepts reconnaissables comme le visage.

Grâce aux systèmes distribués, on pourrait apprendre au système à reconnaître de plus en plus de formes.

Chilimbi imagine un futur où un téléphone mobile pointé sur l’extérieur pourrait décrire à un aveugle ce qui est devant lui.

Notons que récemment, Facebook a présenté son programme DeepFace, spécialisé dans la reconnaissance des visages, avec un réseau neuronal profond à neuf couches. Il serait presque aussi efficace que les humains, plus efficace que le système développé par le FBI pour des milliards de dollars.