Elagage de neurones pour amélioration de l'apprentissage par transfert de réseaux convolutifs

1. Introduction

Les réseaux de neurones convolutifs (CNN) sont de plus en plus utilisés pour des tâches de computer vision dans une multitude d'applications industrielles. Néanmoins, les difficultés liées à l'entrainement de ces modèles sont toujours nombreuses. Notamment, le besoin d'un gros nombre de données d'entrainement est souvent un point de blocage, qui en limite le développement et l'utilisation dans des applications industrielles. Le transfer learning, et en particulier l'apprentissage par transfert du réseau, permet d'adapter des modèles de grosse taille à l'état de l'art, pré-entrainés sur une tâche avec beaucoup de données disponibles, à des nouvelles taches sur lesquelles la quantité de données disponibles est trop limitée pour permettre la création d'un modèle « from-scratch ». Le réseau adapté à la nouvelle tâche, souvent moins complexe de la tâche source, n'a plus nécessairement besoin de toute sa capacité (tous ses neurones/filtres), et les paramètres en excès peuvent rendre plus probable l'overfitting lors du fine-tuning. Une possibilité pour réduire ce phénomène est d'utiliser des techniques de « pruning » (élagage) du réseau. En effet, le pruning (structuré) consiste en la suppression des neurones redondants, c'est-à-dire qui ont une relevance faible aux performances sur la tâche cible.

2. Méthodologie

Nous avons comparé l'efficacité du pruning ainsi que de plusieurs méthodes de sélection des filtres à élaguer appliqués dans le contexte d'apprentissage par transfert sur une tâche cible de test. Certaines méthodes ont été prises directement de l'état de l'art, tandis que sur d'autres des études ont été réalisés afin de les rendre utilisables sur des CNNs.

3. Originalité / perspective

Les méthodes d'élagage sur lesquelles nous avons effectué un travail de développement se basent sur des principes de théorie de l'information et d'interprétabilité des fonctionnalités des CNN, et donc leur utilisation peut donner, en plus que l'amélioration des performances du modèle, des possibilités d'explication et d'interprétation du fonctionnement du modèle et de l'opération même d'élagage.

Télécharger les slides

Revoir le live :