AI510

Serving Models at Scale with Red Hat AI Enterprise

Impatto

Descrizione del corso 

Per il deployment dei modelli di IA negli ambienti aziendali, un prototipo funzionante non basta.

Le organizzazioni devono valutare i runtime di distribuzione, ottimizzare i modelli per l'hardware di produzione, gestire l'inferenza in modo scalabile e monitorare i modelli distribuiti per mantenere uniformi prestazioni e affidabilità.

Serving Models at Scale with Red Hat AI Enterprise (AI510) insegna agli studenti a distribuire, utilizzare e gestire i modelli di IA su scala aziendale utilizzando Red Hat OpenShift AI. I partecipanti acquisiscono esperienza pratica con il framework AI Factory, il model serving con vLLM e KServe, i microservizi NVIDIA NIM, l'inferenza distribuita con llm-d, la pianificazione dei carichi di lavoro con Kueue e il monitoraggio dei modelli di produzione.

Questo corso si basa su Red Hat OpenShift AI 3.4.

Risultati aziendali 

Le organizzazioni faticano a trasferire i modelli di IA dalla sperimentazione alla produzione in modo scalabile, con conseguenti ritardi nel time to value e uno scarso sfruttamento degli investimenti nell'infrastruttura. Questo corso fornisce ai team gli strumenti per distribuire, ottimizzare e utilizzare i modelli di IA in modo efficiente su Red Hat AI, riducendo il divario tra prototipazione e produzione e consentendo un model serving affidabile e conveniente in tutta l'azienda

 Risultati per gli studenti 

Al termine del corso, i partecipanti saranno in grado di valutare i runtime, ottimizzare e distribuire modelli di IA generativa e predittiva in modo scalabile utilizzando vLLM, KServe e NVIDIA NIM su Red Hat OpenShift AI. Saranno anche in grado di configurare l'inferenza distribuita e la pianificazione dei carichi di lavoro e monitorare i modelli distribuiti in produzione.

 Preparazione

Destinatari

AI Platform Engineer, team operativi che si occupano di ML e amministratori dell'infrastruttura responsabili del deployment, della distribuzione e della gestione dei modelli di IA in modo scalabile su Red Hat OpenShift AI. 

Preparazione consigliata

  • Familiarità con i concetti di Red Hat OpenShift o completamento del corso Red Hat OpenShift Developer II: Building and Deploying Cloud-native Applications (DO288).
  • Conoscenza di base dei modelli linguistici di grandi dimensioni, dei concetti di AI/ML e del model serving.
  • Il corso Developing and Deploying AI/ML Applications on Red Hat OpenShift AI (AI267) è consigliato ai nuovi utenti della piattaforma Red Hat OpenShift AI. 

 

Si consiglia di completare la nostra valutazione gratuita delle competenze prima di iscriversi a un corso Red Hat Training o a un esame di certificazione Red Hat.  Scopri di più.

 Passaggi successivi

Trova la soluzione più adatta a te. Scopri i corsi e le certificazioni consigliati e personalizzati in base al tuo livello di esperienza e ai tuoi obiettivi di carriera. Visualizza i percorsi per l'acquisizione di competenze.

Scegli il Paese

Scopri di più

Altri modi per migliorare le tue competenze

Ottieni il meglio da entrambi i mondi: formazione virtuale con esperti e apprendimento autonomo, oltre all'aiuto di un esperto e a un esame di certificazione. È tutto incluso nella Red Hat Learning Subscription.

Corsi disponibili in sede

Se desideri formare l'intero team, possiamo farlo presso la tua sede, di persona o da remoto.

Red Hat Learning Subscription

Percorsi di formazione e training completi sui prodotti Red Hat, certificazioni riconosciute nel settore e un'esperienza di formazione IT flessibile e dinamica.