Comment mettre en production et suivre la performance de nombreux modèles dans le temps

1. Introduction

Le pôle connaissance clients de Bouygues Telecom intervient sur des sujets de compréhension du comportement client par la valorisation de la donnée de manière transverse.
Depuis 2009, AVISIA, cabinet de conseil data-centric présent à Paris, Nantes, Lyon, Bordeaux et Lille, les accompagne tant sur du renfort d’activité que sur des démarches innovantes génératrices de valeur.
C’est dans ce cadre, et grâce à son statut de partenaire Dataiku, qu’Avisia a mené pour Bouygues Telecom un projet d’industrialisation de scores basé principalement sur Dataiku Data Science Studio (DSS), dont l’objectif principal était de mettre en production et de suivre la performance de nombreux modèles dans le temps.

2. Méthodologie

La méthodologie de ce projet a été la suivante :
- Créer un score de renouvellement à destination des équipes CRM basé sur des centaines de variables de natures et de sources différentes.
- Le mettre en production : appliquer et réentraîner le modèle régulièrement, suivre les performances des différents modèles, contrôler la qualité des données, alerter automatiquement sur les éventuels problèmes.
- Généraliser, itérer, industrialiser : monitorer une dizaine de scores avec pour chacun une dizaine de modèles alternatifs (utilisation d’un reporting Tableau), rendre les scores opérationnels en les mettant à disposition des téléconseillers, créer un flow générique permettant la reproduction pour tout nouveau score.

3. Originalité / perspective

Ce projet a permis un gain de productivité et d'autonomie conséquent : le déploiement d’un nouveau score est 7 fois plus rapide, et l’équipe composée essentiellement de Data analyst peut suivre et déployer elle-même les scores. Des perspectives de gains en termes de performance de modèle sont également attendues (facilité à tester de nouvelles approches, que ce soit par enrichissement des features ou utilisation d’autres algorithmes, agilité accrue pour opérer les scores) et bénéficient in fine aux équipes CRM et Service Client.

Télécharger les slides

Revoir le live :