L\u2019\u00e8re de la domination des puces graphiques (GPU) dans l\u2019entra\u00eenement des intelligence artificielle (IA) ne touche peut-\u00eatre pas \u00e0 sa fin, mais les processeurs centraux des ordinateurs (CPU) pourraient revenir dans la course.
D\u00e9tourn\u00e9s de leur t\u00e2che initiale d\u00e9di\u00e9e aux rendus graphiques, notamment dans les\u00a0jeux vid\u00e9o, les GPU sont utilis\u00e9s depuis une d\u00e9cennie pour acc\u00e9l\u00e9rer les calculs gr\u00e2ce \u00e0 leurs hautes capacit\u00e9s de parall\u00e9lisation. \u00c9clipsant les CPU\u00a0qui ont longtemps r\u00e9gn\u00e9 en ma\u00eetres dans les t\u00e2ches de calculs, les GPU sont d\u00e9sormais rois dans de nombreuses t\u00e2ches comme l\u2019apprentissage profond des IA.<\/p>\n
SLIDE, intelligence et optimisation pour tirer le meilleur du CPU<\/strong><\/h3>\nMais la situation pourrait commencer \u00e0 changer \u00e0 la suite de la publication d\u2019un article scientifique qui d\u00e9voile un algorithme de nouvelle g\u00e9n\u00e9ration. Appel\u00e9 SLIDE <\/strong>pour \u00ab S<\/strong>ub-LI<\/strong>near DE<\/strong>ep learning Engine \u00bb, ou moteur d\u2019apprentissage profond sous-lin\u00e9aire, il s’agit d’un \u00ab moteur \u00bb de calcul qui m\u00e9lange\u00a0savamment algorithmes aux petits oignons, haute parall\u00e9lisation\u00a0(pour tirer parti de chaque c\u0153ur du CPU) et fines optimisations de charge.<\/p>\nPour d\u00e9montrer les capacit\u00e9s de leur nouveau moteur de calcul CPU, les chercheurs de l’universit\u00e9 de Rice, dans le Texas,\u00a0ont confront\u00e9 le GPU champion de la cat\u00e9gorie \u00ab apprentissage profond \u00bb, \u00e0 savoir le NVIDIA Tesla V100 Volta (2017), \u00e0 deux processeurs Xeon E5-2699A v4<\/a> fonctionnant \u00e0 2.40 GHz (lanc\u00e9s en 2016).<\/p>\nL\u2019astuce tient dans deux \u00e9l\u00e9ments. D\u2019une part, les CPU peuvent avoir acc\u00e8s \u00e0 beaucoup plus de m\u00e9moire que les GPU. Sur ce point, les chercheurs soulignent dans leur article qu\u2019il faut que cet acc\u00e8s m\u00e9moire soit bien g\u00e9r\u00e9 pour ne pas rencontrer de probl\u00e8mes qui ruineraient le fonctionnement de leur solution. Ils pr\u00e9cisent par ailleurs que m\u00eame sans optimisation et avec des probl\u00e8mes, les r\u00e9sultats obtenus sont \u00e9quivalents \u00e0 ceux fournis par une plate-forme reposant sur des GPU…\u00a0Cette plus grande quantit\u00e9 de RAM est donc bel et bien un\u00a0avantage.
D’autre part, l\u2019autre point fort de cette solution est le caract\u00e8re \u00ab intelligent \u00bb du moteur logiciel. Pour l’entra\u00eenement de r\u00e9seaux neuronaux, les GPU utilisent une grande quantit\u00e9 de donn\u00e9es et sollicitent aveugl\u00e9ment tous les types de neurones pour n\u2019importe quel type de calcul.
Plut\u00f4t que de mobiliser tous les neurones artificiels de mani\u00e8re non sp\u00e9cifique et brutale, le\u00a0moteur SLIDE n\u2019entra\u00eenent que les bons neurones pour la bonne t\u00e2che.<\/p>\n
Un changement total d’approche<\/h3>\n
C’est l\u00e0 que r\u00e9side une partie essentielle du g\u00e9nie de ce projet.\u00a0Pour pouvoir d\u00e9terminer quels neurones sont\u00a0pertinents, les chercheurs ont totalement chang\u00e9 l’approche de l’entra\u00eenement des r\u00e9seaux neuronaux.
Comment ? En abandonnant un point fondamental, mais parfois d\u00e9cri\u00e9 de l’entra\u00eenement des r\u00e9seaux neuronaux, la back propagation<\/em>\u00a0(ou r\u00e9tropropagation du gradient, en fran\u00e7ais). Autrement dit, pour faire simple, la m\u00e9thode par laquelle les neurones font \u00e9voluer le \u00ab poids \u00bb accord\u00e9s aux r\u00e9sultats pour obtenir la bonne r\u00e9ponse.
L’\u00ab approche fondamentalement diff\u00e9rente \u00bb<\/em> des chercheurs de l’universit\u00e9 de Rice consiste \u00e0 entra\u00eener les r\u00e9seaux neuronaux comme s’il s’agissait d’un contexte de recherche, reposant sur des tables de hachage. Cette approche a pour cons\u00e9quence premi\u00e8re\u00a0de r\u00e9duire consid\u00e9rablement les besoins en calcul… et donc de gagner beaucoup de temps.<\/p>\n![\"\"\/](\"https:\/\/img.bfmtv.com\/c\/1200\/479\/098b\/10bbc72b358b6ccc8d42e2ad15ad.jpg\")
Quel bilan pour cette exp\u00e9rience\u00a0?<\/h3>\n
Gr\u00e2ce \u00e0 cette m\u00e9thode, les deux Xeon se sont montr\u00e9s jusqu\u2019\u00e0 3,5 fois plus performants que le gros NVIDIA Tesla V100 Volta dans le traitement de sets de donn\u00e9es connus des chercheurs tel qu\u2019Amazon-670K. Autrement dit, un m\u00eame entra\u00eenement qui a pris 3h30 avec TensorFlow, un des meilleurs outils d’apprentissage du march\u00e9, et une plate-forme \u00e0 base de Tesla V100, n’a pris qu’une heure, sans GPU, et avec une plate-forme\u00a0CPU de classe Xeon \u00e0 44 coeurs.<\/p>\n
S\u2019il est plus facile de rajouter des GPU que des CPU dans un syst\u00e8me pour acc\u00e9l\u00e9rer les performances, les chercheurs soulignent \u00ab qu\u2019il y a encore beaucoup de moyens d\u2019optimiser (le syst\u00e8me). Nous n\u2019avons pas encore utilis\u00e9 les unit\u00e9s vectorielles, ou les acc\u00e9l\u00e9rateurs int\u00e9gr\u00e9s aux CPU tel que le Deep Learning Boost d\u2019Intel.<\/em> \u00bb
En clair, la marge de progression semble importante. S\u2019ajoute \u00e0 cela un avantage de co\u00fbt : quand la paire de Xeon s\u2019affiche \u00e0 5300 \u20ac<\/a> (HT), une seule Tesla V100 co\u00fbte le double. Elle doit en plus \u00eatre int\u00e9gr\u00e9e dans un syst\u00e8me qui int\u00e8gre de toute fa\u00e7on des processeurs professionnels de type Xeon.<\/p>\n
Pour d\u00e9montrer les capacit\u00e9s de leur nouveau moteur de calcul CPU, les chercheurs de l’universit\u00e9 de Rice, dans le Texas,\u00a0ont confront\u00e9 le GPU champion de la cat\u00e9gorie \u00ab apprentissage profond \u00bb, \u00e0 savoir le NVIDIA Tesla V100 Volta (2017), \u00e0 deux processeurs Xeon E5-2699A v4<\/a> fonctionnant \u00e0 2.40 GHz (lanc\u00e9s en 2016).<\/p>\n L\u2019astuce tient dans deux \u00e9l\u00e9ments. D\u2019une part, les CPU peuvent avoir acc\u00e8s \u00e0 beaucoup plus de m\u00e9moire que les GPU. Sur ce point, les chercheurs soulignent dans leur article qu\u2019il faut que cet acc\u00e8s m\u00e9moire soit bien g\u00e9r\u00e9 pour ne pas rencontrer de probl\u00e8mes qui ruineraient le fonctionnement de leur solution. Ils pr\u00e9cisent par ailleurs que m\u00eame sans optimisation et avec des probl\u00e8mes, les r\u00e9sultats obtenus sont \u00e9quivalents \u00e0 ceux fournis par une plate-forme reposant sur des GPU…\u00a0Cette plus grande quantit\u00e9 de RAM est donc bel et bien un\u00a0avantage. C’est l\u00e0 que r\u00e9side une partie essentielle du g\u00e9nie de ce projet.\u00a0Pour pouvoir d\u00e9terminer quels neurones sont\u00a0pertinents, les chercheurs ont totalement chang\u00e9 l’approche de l’entra\u00eenement des r\u00e9seaux neuronaux. Gr\u00e2ce \u00e0 cette m\u00e9thode, les deux Xeon se sont montr\u00e9s jusqu\u2019\u00e0 3,5 fois plus performants que le gros NVIDIA Tesla V100 Volta dans le traitement de sets de donn\u00e9es connus des chercheurs tel qu\u2019Amazon-670K. Autrement dit, un m\u00eame entra\u00eenement qui a pris 3h30 avec TensorFlow, un des meilleurs outils d’apprentissage du march\u00e9, et une plate-forme \u00e0 base de Tesla V100, n’a pris qu’une heure, sans GPU, et avec une plate-forme\u00a0CPU de classe Xeon \u00e0 44 coeurs.<\/p>\n S\u2019il est plus facile de rajouter des GPU que des CPU dans un syst\u00e8me pour acc\u00e9l\u00e9rer les performances, les chercheurs soulignent \u00ab qu\u2019il y a encore beaucoup de moyens d\u2019optimiser (le syst\u00e8me). Nous n\u2019avons pas encore utilis\u00e9 les unit\u00e9s vectorielles, ou les acc\u00e9l\u00e9rateurs int\u00e9gr\u00e9s aux CPU tel que le Deep Learning Boost d\u2019Intel.<\/em> \u00bb
D’autre part, l\u2019autre point fort de cette solution est le caract\u00e8re \u00ab intelligent \u00bb du moteur logiciel. Pour l’entra\u00eenement de r\u00e9seaux neuronaux, les GPU utilisent une grande quantit\u00e9 de donn\u00e9es et sollicitent aveugl\u00e9ment tous les types de neurones pour n\u2019importe quel type de calcul.
Plut\u00f4t que de mobiliser tous les neurones artificiels de mani\u00e8re non sp\u00e9cifique et brutale, le\u00a0moteur SLIDE n\u2019entra\u00eenent que les bons neurones pour la bonne t\u00e2che.<\/p>\nUn changement total d’approche<\/h3>\n
Comment ? En abandonnant un point fondamental, mais parfois d\u00e9cri\u00e9 de l’entra\u00eenement des r\u00e9seaux neuronaux, la back propagation<\/em>\u00a0(ou r\u00e9tropropagation du gradient, en fran\u00e7ais). Autrement dit, pour faire simple, la m\u00e9thode par laquelle les neurones font \u00e9voluer le \u00ab poids \u00bb accord\u00e9s aux r\u00e9sultats pour obtenir la bonne r\u00e9ponse.
L’\u00ab approche fondamentalement diff\u00e9rente \u00bb<\/em> des chercheurs de l’universit\u00e9 de Rice consiste \u00e0 entra\u00eener les r\u00e9seaux neuronaux comme s’il s’agissait d’un contexte de recherche, reposant sur des tables de hachage. Cette approche a pour cons\u00e9quence premi\u00e8re\u00a0de r\u00e9duire consid\u00e9rablement les besoins en calcul… et donc de gagner beaucoup de temps.<\/p>\nQuel bilan pour cette exp\u00e9rience\u00a0?<\/h3>\n
En clair, la marge de progression semble importante. S\u2019ajoute \u00e0 cela un avantage de co\u00fbt : quand la paire de Xeon s\u2019affiche \u00e0 5300 \u20ac<\/a> (HT), une seule Tesla V100 co\u00fbte le double. Elle doit en plus \u00eatre int\u00e9gr\u00e9e dans un syst\u00e8me qui int\u00e8gre de toute fa\u00e7on des processeurs professionnels de type Xeon.<\/p>\n