Du notebook à la production : ce que le MLOps signifie vraiment

Un modèle qui obtient de bons scores sur un jeu de test tenu à l’écart dans un notebook a prouvé une hypothèse. Il n’a pas encore fait quoi que ce soit d’utile. La distance entre ce notebook et un service dont l’entreprise dépend est là où se gagne ou se perd l’essentiel de la valeur du machine learning, et c’est presque entièrement un problème d’ingénierie.

La reproductibilité avant la performance

La première question en production n’est pas « quelle est sa précision ? » mais « pouvez-vous le reconstruire à l’identique ? ». Si vous ne pouvez pas reproduire un modèle — mêmes données, mêmes features, même résultat — vous ne pouvez ni le déboguer, ni l’auditer, ni l’améliorer en toute sécurité. Des données versionnées, des features versionnées et des entraînements versionnés sont la fondation ingrate de tout le reste.

Le modèle est la petite partie

Dans un système ML mature, le modèle lui-même ne représente qu’une minorité du code. Autour de lui se trouvent la validation des données, les pipelines de features, l’infrastructure de service, le monitoring et le réentraînement. Négligez cet échafaudage et même un excellent modèle se dégrade silencieusement à mesure que le monde s’éloigne des données sur lesquelles il a été entraîné.

Un modèle dans un notebook est une hypothèse. Un modèle en production est un système, et les systèmes ont besoin de monitoring, pas d’applaudissements.

• Des données, features et modèles versionnés ; rien qui ne puisse être reproduit.
• Des barrières d’évaluation automatisées avant que quoi que ce soit n’atteigne les utilisateurs.
• Un monitoring de la dérive des données, de la dérive des prédictions et de la dégradation des performances.
• Un chemin de réentraînement qui soit routinier, pas un projet de recherche.
• Une propriété claire pour que quelqu’un soit responsable de la santé du système.

L’ennui, c’est le but

Un bon MLOps rend le déploiement d’un modèle ennuyeux : prévisible, observable, réversible. C’est l’objectif. L’excitation doit venir de ce que le modèle permet pour l’entreprise, pas de savoir si c’est ce soir qu’il va silencieusement cesser de fonctionner.