ROTOR

L’apparition et l’utilisation de réseaux de neurones de plus en plus profonds associés à des données volumineuses engendre des problèmes matériels au sein des grappes de calculs actuelles. En effet, s’il existe des heuristiques capables de contourner un blocage mémoire, elles impliquent une perte d’information et/ou un allongement non négligeable du temps de calcul. ROTOR - Rematerializing Optimally with pyTORch – propose une gestion automatique et optimale de la mémoire durant la phase d’apprentissage d’un réseau de neurones.

Télécharger les slides

Revoir le live :