Les Enjeux d'une IA de confiance pour les systèmes critiques - Focus sur l'explicabilité des modèles d'IA

Introduction

Les réseaux de neurones profonds sont devenus des outils incontournables pour résoudre une multitude de problèmes complexes. Leurs performances sont remarquables mais un paradigme fondamental change avec ces approches basées données : la définition du domaine opérationnel est contenue dans le jeu de données d'apprentissage. De plus, le fonctionnement « boite noire » de ces algorithmes soulève des questions fondamentales : comment et pourquoi les décisions sont-elles été prises ? sont-elles biaisées ? quelle est la robustesse de la décision face à des entrées variables ? …

Une de ces problématiques réside dans la capacité à expliquer les résultats. Cette branche de l'IA développe des outils qui vont devenir indispensables pour les ingénieurs en charge de développer ces systèmes d'IA, mais aussi pour les certificateurs et qualiticiens en charge d'autoriser leur déploiement, ou les utilisateurs qui devront accepter et coopérer avec ces agents artificiels.

Méthodologie

La problématique adressée par le programme Confiance.AI est d'apporter des garanties et une maitrise de la confiance dans les systèmes critiques basés IA. Pour y répondre, l'organisation du programme s'est faite au travers de sous-projets dédiés au développement de métriques et outils pour caractériser la confiance (qualité des données, robustesse by-design des réseaux, gestion des incertitudes, de l'explication des résultats, …), associés à des sous-projets d'intégration de ces métriques dans des chaines industrielles de développement allant de la spécification initiale à l'implémentation sur des cibles embarquées.

Une de ces intégrations a consisté à étudier un ensemble de 41 méthodes réparties dans 6 bibliothèques d'explicabilité sur les cas d'usages réels apportés par les contributeurs industriels. Cette étude a donné lieu d'une part à la création une plateforme de traitements d'explicabilité mise à disposition des partenaires et d'une méthodologie de design de chaîne de chaîne opérationnelle d'explicabilité. Ces deux entités permettent ainsi de s'affranchir des contraintes de choix de bibliothèque, de choix de méthodes et de paramètres.

Originalité / perspective

Confiance.AI a eu l'énorme bénéfice de rassembler au sein d'un même programme des acteurs académiques, des instituts de recherche, des équipes d'ingénieries industrielle et des utilisateurs finaux. Cette multidisciplinarité sur l'ensemble de la chaine de valeur est cruciale pour lever les verrous de l'IA de Confiance.

Ainsi, un cadre conceptuel a pu être construit pour évaluer la situation l'interprétabilité liée à un système d'IA explicable. Nous avons souhaité ancrer ce cadre dans le domaine de la philosophie informatique en utilisant des notions sémiotiques (qui couvrent la représentation et l'interprétation) en accord avec des éléments interdisciplinaires décrivant l'explication et la compréhension. Ce cadre a pu être appliqué et testé sur un cas d'utilisation réel en utilisant les commentaires d'experts provenant à la fois des utilisateurs finaux et des développeurs d'un système XAI (eXplainable AI) opérationnel.

Parce qu'il ne peut y avoir interprétation sans compréhension, les prochains travaux vont aller au-delà de la seule obtention de résultats d'explicabilité. La présence de partenaires industriels et les problèmes posés par les différents acteurs autour d'une même tâche d'IA (data scientist, qualiticiens, certificateur, etc.) va valoriser et conduire les travaux sur la compréhension des phénomènes et l'interprétabilité des résultats dans les différents domaines d'application. Tous ces travaux ont eu également pour conséquence des échanges répétés avec les membres de l'Agence Française de Normalisation, l'AFNOR, dont certains travaillent sur le programme Confiance.ai. Ces échanges vont se poursuivre autour de la rédaction de normes ISO autour de l'IA de confiance.

Références

https://www.confiance.ai https://www.confiance.ai/les-resultats-scientifiques/ https://www.confiance.ai/lenvironnement-de-confiance

Revoir le live :