On parle beaucoup de mise en production de data science, mais peu du jour d'après. Que se passe-t-il après la mise en production, comment monitorer un modèle de data science ? Les systèmes de data science introduisent une complexité supérieure à une application de SI traditionnelle puisqu’ils sont souvent composés de composants introduisants de l’aléa.
Emmanuel-Lin et Mehdi, consultant data science chez Octo Technology, vous proposent une méthodologie pour mettre en place le monitoring de vos systèmes de data science.
Pour cela, partons d’un exemple concret de système de data science : la prédiction des crises d’épilepsie. Les crises d’épilepsie sont très handicapantes notamment car un patient ne sait pas quand elles vont arriver. Savoir quand aura lieu la prochaine crise permet aux patients de prévoir et réaliser des activités qu’ils n’auraient pas pu faire sereinement comme conduire, par exemple.
Pour parvenir à cette prédiction, le patient porte un certain nombre de capteurs sur lui qui permettent l’acquisition de son rythme cardiaque, sa respiration, son activité dermale. L’objectif est de lui fournir des alertes sur son téléphone lorsqu’une crise est imminente.
Voir la présentation complète sur slideshare
Nous faisons l’hypothèse que ce modèle est en production et utilisé par les patients. Les différents interlocuteurs qui interagissent avec notre système ont alors des attentes différentes vis à vis du système :
Ces attentes doivent être observées et suivies dans la durée, pour cela, nous avons besoin de monitorer la totalité du système et pas seulement le modèle.
L’intuition du data scientist consiste généralement à adresser le monitoring par la visualisation de diverses distributions calculées à partir des données en entrée du système, des données de sortie et des résultats intermédiaires :
Cette approche amène à calculer de nombreuses métriques et visualiser de nombreux graphes qui viennent alors peupler des dashboards peu lisibles: la multiplicité des indicateurs, tel du bruit dans un signal, nous empêche de savoir si le système fonctionne comme prévu.
Avant de s’attaquer au monitoring, il convient de poser des notions de base pour découper le problème au mieux :
Dans un premier temps, il existe deux grandes familles de monitoring :
Dans le cadre de cette conférence, nous allons nous concentrer sur le monitoring à chaud.
Un système de data science peut se comporter de façon déterministe (étant donné une situation, le résultat d’un traitement déterministe est anticipable) mais aussi de façon non-déterministe (par exemple: l'aléa à l'entraînement du modèle rend cette étape de non-déterministe). C’est d’ailleurs le challenge des systèmes de data science, le monitoring du non-déterminisme.
En fonction de l’interlocuteur, le monitoring apporte du feedback à différentes vitesses :
Emmanuel-Lin et Mehdi proposent une méthode simple en monitorant la donnée qui consiste à poser des sondes pour monitorer votre système de data science :
Soit si on s’intéresse à l’exemple de l’étape du réentraînement :
Enfin le concept de la “voiture balais”, qui consiste à monitorer la distribution des prédictions en bout de pipeline, permet de valider que la prédiction est stable dans le temps. Ainsi on peut à faible coût identifier des problèmes peu probables, pas identifiés ou pas formalisés.
Pour challenger vos sondes, quelques grands principes émergents à l’usage de cette méthodologie :
En conclusion, une fois votre modèle en production, il faudra le monitorer avec un suivi : des indicateurs techniques, du SLA et SLO, de la donnée et du ROI. Plutôt que d’adopter un monitoring des distributions qui s'avère coûteux et inefficace, préférez appliquer la méthode suivante de façon itérative :
Si vous travaillez actuellement sur un projet de data science, vous pouvez dès maintenant ajouter ces cartes à votre backlog pour commencer à réfléchir au monitoring :
Si vous souhaitez en savoir plus, retrouvez l'article de blog détaillé et la vidéo de la conférence :