Panoramica
Kubernetes supporta i carichi di lavoro in ambito AI/ML rendendo il codice riproducibile in modo coerente, portatile e scalabile nei diversi ambienti. Kubernetes è una piattaforma open source che automatizza le operazioni su container Linux eliminando molti dei processi manuali previsti dal deployment e dalla scalabilità di applicazioni containerizzate. Kubernetes è fondamentale per semplificare il ciclo di vita dell'AI/ML perché offre ai data scientist l'agilità, la flessibilità, la portabilità e la scalabilità necessarie per addestrare, testare e distribuire i modelli di ML.
Il ruolo dei container nello sviluppo di AI/ML
Quando si realizzano applicazioni per il machine learning, il flusso di lavoro non è lineare e le fasi quali ricerca, sviluppo e produzione sono soggette alle costanti variazioni delle attività di integrazione e distribuzione continue (CI/CD) eseguite dai team di sviluppo. Il processo di realizzazione, test, integrazione e distribuzione di nuovi dati, algoritmi e versioni di un'applicazione implica numerose variabili, spesso difficili da gestire. Questo è il contesto in cui si inseriscono i containers.
I container sono una tecnologia Linux che consente di raccogliere e isolare applicazioni e tutte le librerie e le dipendenze necessarie per il loro funzionamento. Ai container non serve un intero sistema operativo, ma solo alcuni componenti, per questo risultano leggeri e portabili. Questo semplifica il deployment delle operazioni e garantisce agli sviluppatori un'unica e coerente modalità di funzionamento delle applicazioni, indipendentemente dalla piattaforma o dal sistema operativo che le ospita.
Un altro vantaggio dei container è che contribuiscono a ridurre i conflitti tra i team operativi e di sviluppo poiché ne separano gli ambiti di competenza. Inoltre, quando gli sviluppatori possono dedicarsi alle app e i team operativi all'infrastruttura, l'integrazione di nuovo codice in un'applicazione man mano che cresce e si evolve lungo il suo ciclo di vita diventa più lineare ed efficiente.
Risorse da Red Hat
I vantaggi di Kubernetes per i carichi di lavoro in ambito AI/ML
Scalabilità: Kubernetes consente agli utenti di aumentare o diminuire la scalabilità dei carichi di lavoro di ML, a seconda della domanda. In questo modo le pipeline di machine learning sostengono elaborazioni e addestramenti su larga scala senza interferire con altri elementi del progetto.
Efficienza: Kubernetes ottimizza l'allocazione delle risorse pianificando i carichi di lavoro sui nodi in base alla loro disponibilità e capacità. Verificando che le risorse di elaborazione siano utilizzate intenzionalmente, gli utenti possono ridurre i costi a fronte di un aumento delle prestazioni.
Portabilità: Kubernetes offre un ambiente standardizzato e indipendente dalla piattaforma con il quale i data scientist possono sviluppare un modello ML e distribuirlo tra più ambienti e piattaforme cloud, senza doversi occupare dei problemi di compatibilità e dei vendor lock-in.
Tolleranza agli errori: grazie alla tolleranza agli errori incorporata e alle capacità di autoriparazione, puoi affidare a Kubernetes l'esecuzione continua delle pipeline di ML, anche in caso di guasti hardware o software.
Deployment di modelli ML su Kubernetes
Il ciclo di vita del machine learning è costituito da molti elementi diversi, la cui gestione separata risulterebbe dispendiosa, in termini di tempo e risorse. Grazie all'architettura Kubernetes, invece, le aziende possono automatizzare parte di questo ciclo, eliminando la necessità di interventi manuali e ottenendo più efficienza.
Possono ad esempio implementare kit di strumenti come Kubeflow utili agli sviluppatori per semplificare e operare carichi di lavoro ML su Kubernetes. Kubeflow risolve molte delle problematiche legate all'orchestrazione delle pipeline di ML fornendo un set di strumenti e API che semplifica il processo di addestramento e distribuzione dei modelli di ML in modo scalabile. Consente inoltre di standardizzare e organizzare le operazioni di machine learning (MLOps).
Il ruolo di Red Hat
Kubernetes può aiutarti a semplificare i carichi di lavoro di AI/ML, ma avrai comunque bisogno di una piattaforma per sperimentare, fornire i modelli e distribuire le applicazioni.
Red Hat® AI offre un portafoglio di prodotti di IA sviluppati a partire dalle soluzioni che i nostri clienti già conoscono. Questa base è garanzia di affidabilità, flessibilità e scalabilità per i nostri prodotti.
Grazie alle soluzioni per l'IA di Red Hat, le organizzazioni traggono svariati vantaggi, tra cui:
- Adottare l'IA rapidamente per promuovere l'innovazione.
- Semplificare l'erogazione di soluzioni di intelligenza artificiale.
- Eseguire il deployment in tutti gli ambienti.
Mantieni la flessibilità e la scalabilità
Red Hat AI include Red Hat OpenShift® AI, una piattaforma MLOps integrata in grado di gestire il ciclo di vita dei modelli di IA predittiva e generativa.
Questa piattaforma di IA offre uno spazio per creare, addestrare, distribuire e monitorare i carichi di lavoro di AI/ML nei datacenter on premise o in prossimità dei dati. In questo modo si semplifica la scalabilità delle operazioni nel cloud o all'edge quando è necessario.
L'utilizzo combinato di Kubernetes e Red Hat AI consente ai team di distribuire le applicazioni di IA in ambienti cloud ibridi con agilità.
Analisi della soluzione: App di IA con Red Hat e NVIDIA AI Enterprise
Crea un'applicazione RAG
Red Hat OpenShift AI è una piattaforma per creare progetti di data science e distribuire applicazioni abilitate all'IA. Puoi integrare tutti gli strumenti che ti servono per supportare la tecnologia retrieval augmented generation (RAG), un metodo per ottenere le risposte dell'IA dai tuoi documenti di riferimento. Quando connetti OpenShift AI con NVIDIA AI Enterprise, puoi fare alcune prove con gli LLM (Large Language Model) per trovare il modello ideale per la tua applicazione.
Sviluppa una pipeline per i documenti
Se vuoi usare la tecnologia RAG, per prima cosa devi inserire i tuoi documenti in un database vettoriale. Nella nostra app di esempio, integriamo una serie di documenti di prodotto in un database Redis. Visto che questi documenti vengono modificati spesso, possiamo creare una pipeline da eseguire periodicamente per tale processo in modo da disporre sempre della versione più recente.
Sfoglia il catalogo degli LLM
NVIDIA AI Enterprise ti offre l'accesso a un catalogo di diversi modelli LLM, così potrai fare diverse prove e scegliere quello che offre risultati migliori. I modelli sono ospitati nel catalogo delle API di NVIDIA. Una volta che hai impostato un token API, puoi eseguire il deployment di un modello utilizzando la piattaforma di distribuzione dei modelli NVIDIA NIM direttamente da OpenShift AI.
Scegli il modello giusto
Mentre fai alcune prove con i diversi modelli LLM, i tuoi utenti possono valutare ogni risposta generata. Puoi configurare una dashboard di monitoraggio Grafana per confrontare le valutazioni, oltre che i tempi di risposta e di latenza di ogni modello. Potrai quindi sfruttare questi dati per scegliere il miglior modello LLM da usare nel tuo ambiente di produzione.
15 motivi per adottare Red Hat OpenShift Virtualization
Scopri come unificare e semplificare le operazioni IT con Red Hat OpenShift Virtualization, una piattaforma che supporta sia macchine virtuali che container.
