Emmanuel Lin Toulemonde

Avant de déployer un nouveau modèle en production il est difficile de savoir précisément comment il va se comporter. La shadow production est une technique qui permet de se rassurer sur les performances du modèle avant de le déployer.Dans notre précédent article sur les alternatives aux monitoring de distributions, nous évoquions brièvement le conc...

IntroductionEn phase de construction d’un modèle de machine learning supervisé, les data scientists évaluent la performance de leur modèle par rapport aux labels en utilisant une métrique (par exemple l’AUC). Cela leur permet d’avoir un a priori sur les performances du système qu’ils sont en train de construire.Cette évaluation n’est qu’un a priori...

Lorsque l’on s'apprête à mettre (ou lorsque l’on a mis) un système de data science en production, on souhaite s’assurer qu’il fonctionne comme prévu. Pour cela, il convient de monitorer ce système intelligent.

En mission, nous rencontrons de plus en plus des besoins d'interprétabilité. Ce changement est dû à une évolution de la maturité des organisations sur la data science.En caractérisant un peu le trait, hier les projets de data science étaient surtout marketing (Ex : prédiction d'appétence ou d’attrition à des fins de ciblage). Ils étaient faits à pa...

Dans la tendance de l’industrialisation de la data science, une douleur importante est de garder la trace des expérimentations menées. C’est-à-dire tracer les résultats obtenus avec une version du jeu de données, un type de modèle et un set de méta-paramètres.Le graal est peut-être de faire comme Facebook : des modèles de modèles. Mais avant d’atte...