Présentation
L'outil MLflow aide les équipes de développement à organiser les projets d'apprentissage automatique (AA) et d'intelligence artificielle (IA), de l'expérimentation initiale au déploiement. Il offre une plateforme unifiée qui permet de suivre, d'auditer et de gérer l'ensemble du cycle de vie de nombreuses ressources, telles que les modèles prédictifs traditionnels et les agents IA modernes.
Open Source et indépendant de tout fournisseur, MLflow s'exécute dans tous les environnements (en local comme sur une plateforme cloud) et s'utilise en association avec les frameworks d'AA les plus courants. Cette flexibilité a su convaincre aussi bien les développeurs individuels que les entreprises d'utiliser cet outil.
Utilité
Avant l'essor de l'IA générative, l'apprentissage automatique était axé sur des tâches prédictives, telles que la prévision, le signalement et le tri de données. Déjà à cette époque, les équipes de science des données ne disposaient pas d'outils standards pour suivre les expérimentations et déployer des modèles. Elles se contentaient d'inscrire les itérations de modèles dans des feuilles de calcul, des notes personnelles et des scripts déconnectés.
Les grandes entreprises technologiques avaient accès à des systèmes propriétaires internes, mais il n'existait pas de solution Open Source. Par conséquent, de nombreux projets ne pouvaient pas passer de la phase d'expérimentation à la phase d'exploitation.
Databricks a créé MLflow pour résoudre ce problème, avant de l'offrir à la Linux® Foundation. Le secteur des technologies a ainsi pu bénéficier d'un ensemble d'outils Open Source pour chaque phase du cycle de vie de l'AA :
- Phase de test : MLflow remplace les notes manuelles éparpillées et fournit un registre de suivi et d'instructions génératives dans lequel est enregistrée chaque modification de paramètre, version de code et mise à jour. Pour les applications d'IA générative, les équipes peuvent tester différentes instructions génératives issues d'un registre. Cette approche leur permet d'exécuter un processus automatisé (aussi appelé « LLM-as-a-Judge ») pour évaluer la précision et le risque d'hallucination des résultats générés avant la mise en service.
- Phase de transfert : MLflow remplace les transferts manuels et met en paquet le code dans un conteneur standardisé qui s'exécute de la même façon dans tous les environnements. Le registre de modèles sert d'enregistrement définitif pour les historiques de versions et les approbations qui permettent de faire passer les ressources de la phase de test à la production.
- Phase de lancement : lorsqu'un modèle est approuvé dans le registre, MLflow convertit les ressources enregistrées en API REST ou en conteneurs standards prêts pour une intégration plus rapide aux applications ou aux serveurs. Pour les applications d'IA générative, la passerelle d'IA sert de contrôleur de trafic chargé de gérer les clés d'API et les données de routage.
- Phase de surveillance : MLflow donne accès à des outils de traçage et d'évaluation pour mesurer la précision des résultats et examiner le raisonnement en plusieurs étapes des agents.
4 principes clés à prendre en compte pour mettre en œuvre des technologies d'IA
Principales fonctions
Les fonctions de MLflow prennent la forme d'outils adaptés à l'AA traditionnel et à l'IA générative moderne.
Fonctions pour l'AA traditionnel et l'apprentissage profond
- Suivi des modèles : journal automatisé qui enregistre les versions du code, les paramètres, les indicateurs de mesure des performances et les graphiques à chaque entraînement d'un modèle au cours des phases de test et de recherche
- Mise en paquet des modèles : format de paquet standardisé qui regroupe un modèle et l'ensemble des dépendances logicielles dont il a besoin pour s'exécuter de manière prévisible dans tous les environnements
- Registre de modèles : hub centralisé pour suivre les approbations et les changements à mesure que le projet avance ; sert de source de vérité et de lien vers l'expérimentation d'origine (dans le suivi des modèles) pour faciliter les audits
- Déploiement des modèles : ensemble d'outils de distribution qui convertissent les modèles enregistrés en services web (API REST), en conteneurs ou en pipelines d'inférence
- Évaluation des modèles : framework capable de calculer automatiquement le niveau de précision des résultats et de générer des graphiques de performances pour les modèles entraînés
Fonctions pour l'IA générative et agentique
- Traçage : outil d'observabilité compatible avec OpenTelemetry qui visualise le « processus de pensée » des agents IA en enregistrant les données d'entrée, les résultats, les choix d'outils et le coût des jetons textuels
- Évaluation des grands modèles de langage ou « LLM-as-a-Judge » : outil qui utilise des modèles de langage secondaires pour vérifier la qualité des réponses issues du projet ; permet de tester les biais et d'appliquer des garde-fous aux résultats d'un modèle
- Registre d'instructions génératives : espace de travail réservé pour suivre, gérer et organiser les modèles d'instructions génératives
- Passerelle d'IA : hub centralisé qui sert à suivre et acheminer les données passant par les clés d'API et les fournisseurs externes ; aide à gérer le budget et à appliquer des limites de débit
- Serveur MCP : point de connexion qui permet aux applications d'IA et aux assistants de codage d'interagir avec des sources de données et des outils externes à l'aide du protocole MCP (Model Context Protocol)
Indépendant de tout framework, MLflow fonctionne avec la plupart des outils de développement et de science des données. Il est possible de l'associer aux frameworks les plus courants, tels que PyTorch, LangChain et Docker, tout au long de son cycle de vie.
Utilisation au sein des entreprises
Si l'outil MLflow facilite les tâches de développement et de science des données, il peut aussi être utile aux responsables informatiques qui créent des solutions d'IA pour les entreprises. Il offre des capacités de gouvernance en arrière-plan qui aident à protéger la confidentialité des utilisateurs, à détecter les erreurs avant le lancement des applications et à garantir une disponibilité fiable. Les décideurs informatiques peuvent ainsi contrôler leur infrastructure d'IA dans plusieurs domaines essentiels :
- Souveraineté numérique : il est possible d'héberger MLflow entièrement sur site, dans un réseau de cloud privé ou dans un système air gap. L'entreprise peut conserver les données sensibles dans son périmètre de sécurité au lieu de les exporter via un fournisseur tiers.
- Conformité réglementaire : dans certains secteurs (tels que la finance, la santé et la justice), il faut pouvoir expliquer chaque étape d'une décision automatisée. MLflow capture ces informations et fournit des pistes complètes d'audit ainsi que des métadonnées de traçabilité pour offrir aux équipes de conformité une visibilité totale sur la façon dont les résultats ont été générés. Cette transparence peut contribuer à la mise en œuvre de l'IA explicable et de l'IA souveraine.
- Contrôle centralisé des coûts : grâce à la passerelle d'IA, les équipes informatiques peuvent acheminer l'ensemble du trafic d'IA externe (toutes les données qui circulent entre les agents, les modèles de langage et les outils externes) via un point de contrôle unique. Cette approche permet aux entreprises de fixer des limites budgétaires, de gérer les clés d'API et les connexions MCP ainsi que de suivre les dépenses des différentes équipes.
Nos solutions
La gamme Red Hat® AI offre des fonctionnalités d'inférence rapides, flexibles et efficaces au moyen d'un serveur basé sur vLLM. Elle relie de manière fiable les modèles aux données pour unifier la personnalisation et le développement d'agents spécialisés sur une seule et même plateforme. Conçus sur une base Open Source, nos produits donnent un contrôle total sur les workflows d'IA, de bout en bout et à toutes les échelles.
La gamme Red Hat AI inclut Red Hat AI Enterprise, une plateforme qui permet de déployer, gérer et mettre à l'échelle des opérations d'inférence d'IA, des workflows d'IA agentique et des applications basées sur l'IA dans tous types d'infrastructures.
Artificial Intelligence (AI)
See how our platforms free customers to run AI workloads and models anywhere