Cos'è MLflow?

MLflow è uno strumento che aiuta gli sviluppatori a organizzare i progetti di machine learning (ML) e IA, dalle prime fasi della sperimentazione al deployment in tempo reale. Fornisce una piattaforma unificata per monitorare, verificare e gestire l'intero ciclo di vita di qualsiasi elemento, dai modelli predittivi tradizionali ai moderni agenti IA. 

Essendo uno strumento open source che non dipende da alcun fornitore, MLflow può essere eseguito ovunque (in locale o con il provider di servizi cloud prescelto) e si integra con i framework di ML più diffusi. Questa flessibilità ha contribuito alla diffusione di MLflow sia tra i singoli sviluppatori che tra le aziende.

Scopri le soluzioni Red Hat AI

Prima dell'introduzione dell'IA generativa (gen AI), il machine learning era incentrato su attività predittive come la previsione, la segnalazione e l'ordinamento dei dati. Tuttavia, i team di data science non disponevano di strumenti standard per tenere traccia degli esperimenti e distribuire i modelli. Al contrario, le iterazioni dei modelli venivano tracciate su fogli di calcolo, note personali e script disconnessi. 

Le grandi aziende tecnologiche avevano accesso a sistemi proprietari interni, ma non esisteva un'opzione open source. Di conseguenza, molti progetti non sono riusciti a passare dalla fase sperimentale a quella operativa in tempo reale. 

Databricks ha creato MLflow per superare questo ostacolo, e successivamente ha donato questa soluzione alla Linux® Foundation. In questo modo, al settore tecnologico è stata fornita una raccolta di strumenti open source per supportare ogni fase del ciclo di vita del machine learning.

• Fase di test: MLflow sostituisce le note manuali frammentate e fornisce un registro di tracciamento e prompt per documentare ogni modifica ai parametri, versione del codice e aggiornamento. Per le applicazioni di gen IA, i team possono testare diversi prompt da un registro apposito. In questo modo è possibile eseguire una valutazione automatizzata (o un LLM -as-a-Judge) per assegnare un punteggio ai risultati generati in termini di accuratezza e rischio di allucinazioni prima di passare alla pubblicazione. 
• Fase di consegna: MLflow sostituisce il trasferimento manuale e il codice dei pacchetti in un container standardizzato che viene eseguito allo stesso modo in qualsiasi ambiente. Il registro dei modelli funge da documentazione definitiva sulle cronologie delle versioni e le approvazioni man mano che le risorse passano dalla fase di test alla produzione.
• Fase di avvio: una volta approvato il modello nel registro, MLflow converte le risorse salvate in interfacce di programmazione delle applicazioni (API REST) con trasferimento dello stato rappresentativo o in container standard pronti per un'integrazione più rapida in applicazioni o server. Per le applicazioni di IA gen, il gateway IA funge da controller del traffico, gestendo le chiavi API e i dati di routing. 
• Fase di monitoraggio: MLflow offre strumenti di tracciamento e valutazione per misurare l'accuratezza degli output in tempo reale e ispezionare il ragionamento in più fasi degli agenti.

Guarda una demo: Tracciamento degli agenti e osservabilità con MLflow

MLflow organizza le sue funzionalità in strumenti che possono essere utilizzati per l'ML tradizionale e l'IA gen moderna.

Funzionalità per il deep learning e il machine learning tradizionale

• Tracciamento dei modelli: un registro automatizzato che documenta le versioni del codice, i parametri, le metriche delle prestazioni e i grafici ogni volta che si addestra un modello durante i test e le ricerche. 
• Creazione del pacchetto del modello: un formato di pacchetto standardizzato che raggruppa un modello e tutte le dipendenze software necessarie per un'esecuzione prevedibile in qualsiasi ambiente. 
• Registro dei modelli MLflow: un hub centrale per tenere traccia delle approvazioni e delle transizioni man mano che il progetto raggiunge una fase più avanzata. Il registro dei modelli diventa una fonte di attendibilità e funge da collegamento all'esperimento originale (nel tracciamento del modello) per la preparazione agli audit.
• Deployment del modello: un set di strumenti di servizio che convertono i modelli salvati in servizi adatti al web (API REST), container o pipeline di inferenza. 
• Valutazione del modello: un framework che calcola automaticamente le metriche di precisione e genera grafici delle prestazioni per i modelli addestrati. 

Funzionalità per l'IA generativa e l'agentic AI

• Tracciamento MLflow: uno strumento di osservabilità compatibile con OpenTelemetry che visualizza il "ragionamento" degli agenti IA registrando input, output, scelte degli strumenti e costi dei token. 
• Valutazione degli LLM: nota anche come "LLM-as-a-Judge", questa funzionalità utilizza modelli linguistici secondari per verificare la qualità delle risposte derivanti dal tuo progetto. In questo modo è possibile verificare la presenza di bias e mantenere gli strumenti di protezione sull'output del modello. 
• Registro dei prompt di MLflow: uno spazio di lavoro dedicato per monitorare, gestire e organizzare i modelli di prompt. 
• MLflow AI Gateway: un hub centrale che tiene traccia e indirizza i dati durante il trasferimento tramite chiavi API e provider esterni. Aiuta a gestire il budget e a far rispettare i limiti di frequenza. 
• Server MCP MLflow: un punto di connessione che consente agli assistenti per la programmazione e alle applicazioni basate sull'IA di interagire con strumenti e sorgenti di dati esterni tramite il protocollo MCP (Model Context Protocol). 

MLflow è progettato per essere indipendente dal framework, il che significa che funziona con quasi tutti gli strumenti che uno sviluppatore o un data scientist vorrebbe utilizzare. I framework più diffusi come PyTorch, LangChain, Docker e molti altri possono essere integrati durante l’intero ciclo di vita di MLflow. 

Scopri come funziona l'osservabilità dell'IA con MLflow

MLflow semplifica la vita a sviluppatori e data scientist, ma si rivolge anche ai leader IT che realizzano soluzioni basate sull'IA per le aziende. La governance in background di MLflow aiuta a proteggere la privacy degli utenti, a rilevare gli errori prima del rilascio e a mantenere un'operatività affidabile. In questo modo i responsabili delle decisioni IT mantengono il controllo sull'infrastruttura di IA in diverse aree critiche. 

• Sovranità digitale: le aziende possono ospitare MLflow interamente on premise, all'interno di una rete di cloud privato o in un sistema isolato. I dati sensibili possono rimanere all'interno dei parametri di sicurezza di un'organizzazione anziché essere esportati tramite un fornitore di terze parti. 
• Conformità normativa: alcuni settori (come quello finanziario, sanitario e legale) devono tenere conto di ogni fase di una decisione automatizzata. MLflow acquisisce queste informazioni e fornisce audit trail e metadati di lineage completi, offrendo ai team di conformità una visibilità completa su come sono stati generati gli output. Questa trasparenza può aiutare con l'IA spiegabile e le iniziative per l'IA sovrana. 
• Controllo dei costi centralizzato: tramite il gateway IA, i team IT possono instradare tutto il traffico IA esterno (tutto ciò che transita tra agenti, modelli linguistici e strumenti esterni) attraverso un unico checkpoint. In questo modo le organizzazioni possono impostare limiti di budget, gestire le chiavi API e le connessioni MCP, e tenere traccia delle spese dei team.

Red Hat® AI è progettato per un'inferenza rapida, flessibile ed efficiente tramite un server basato su vLLM. Collega in modo affidabile i modelli ai dati per unificare la personalizzazione e lo sviluppo di agenti specializzati su un'unica piattaforma. Realizzati su una base open source, i nostri prodotti offrono il pieno controllo dei flussi di lavoro end to end dell'IA, in modo scalabile. 

Red Hat AI Portfolio include Red Hat AI Enterprise, una piattaforma per il deployment, la gestione e la scalabilità dell'inferenza IA, i flussi di lavoro Agentic AI e le applicazioni basate sull'IA su qualsiasi tipologia di infrastruttura.

Scopri le soluzioni Red Hat AI