Résumé

Nous introduisons le FAT5 (Flash Attention T5), une méthodologie nous permettant de pré-entraîner de manière efficiente un modèle T5 de 147M de paramètres en français en un temps raisonnable sur une seule A100 et pour un coût limité (~1600€). Notre travail se base notamment sur la conception de noyaux CUDA/Triton pour rendre la Flash Attention compatible avec le T5 et pour disposer d'une inférence linéaire étendant ainsi la taille de contexte prenable en compte par le modèle.

A propos - CATIE

Le CATIE (Centre Aquitain des technologies de l'Information et Électronique) est une association à but non lucratif créée en 2014 à l'initiative de la Région Nouvelle-Aquitaine et des entreprises du territoire. C'est un Centre de Ressources Technologiques unique en France grâce à son équipe pluridisciplinaire de docteurs et d'ingénieurs, issus de l'industrie et du monde universitaire, qui travaillent dans des domaines aussi variés que les mathématiques, l'informatique, l'électronique numérique et analogique et les sciences cognitives. Notre soutien aux entreprises se décline en plusieurs étapes : preuves de concept, conseils, assistance, avis et solutions d’experts, mais également vision innovante et analyse pluridisciplinaire. Nous aidons les entreprises à lever les verrous technologiques rencontrés et à adopter des technologies novatrices, acquérir de nouvelles connaissances, avoir accès à des ressources supplémentaires ou monter en compétence. Nous apportons ainsi un soutien à leur recherche d’excellence et d’innovation. Notre approche scientifique nous permet de proposer des solutions techniques optimales et durables pour nos clients, tout en privilégiant les solutions locales et en favorisant un écosystème vertueux. Ces solutions sont le fruit de nos travaux de recherche, ainsi que de nos conceptions spécifiques qui permettent aux entreprises de dérisquer et d'accélérer leur R&D, en toute objectivité technologique.

www.catie.fr

A propos de l'orateur