Résumé

L’apparition et l’utilisation de réseaux de neurones de plus en plus profonds associés à des données volumineuses engendre des problèmes matériels au sein des grappes de calculs actuelles. En effet, s’il existe des heuristiques capables de contourner un blocage mémoire, elles impliquent une perte d’information et/ou un allongement non négligeable du temps de calcul. ROTOR - Rematerializing Optimally with pyTORch – propose une gestion automatique et optimale de la mémoire durant la phase d’apprentissage d’un réseau de neurones.

Télécharger le résume PDF

Revoir la vidéo :

A propos - Centre Inria de l'Université de Bordeaux - Equipe Hiepacs

Les avancées significatives en terme de simulation numérique ont toujours été liées aux paliers importants franchis par les technologies du HPC. Après le seuil des machines teraflops des années 1990 et actuelles, la communauté scientifique se prépare à utiliser de manière généraliste les architectures pétaflops et même exaflops dans les années 2020. Pour que des codes applicatifs puissent exploiter de telles puissances de calcul en utilisant des centaines de millions de coeurs de calcul en passant effectivement à l'échelle, il est nécessaire de repenser les modèles physiques, leur modélisation mathématique et les algorithmes associés, ainsi que faire une mise en oeuvre permettant d'exploiter tous les niveaux de parallélisme de l'architecture. Le traitement des données pour ces simulations sera aussi un problème critique vue les tailles qui sont en jeu.

https://www.inria.fr/fr/hiepacs

A propos de l'orateur