AI010

Panoramica tecnica di Red Hat AI Inference

Panoramica

Ottimizza i tuoi carichi di lavoro IA, mitigando i costi grazie a Red Hat AI Inference Server.

Descrizione del corso

  • Ottieni informazioni essenziali sul deployment dell'IA con questa Panoramica tecnica di Red Hat AI Inference. Scopri come affrontare le complessità e i costi legati all'esecuzione dei modelli di IA in produzione. Scopri come la soluzione di Red Hat, basata su vLLM, ottimizza le prestazioni e offre risparmi significativi in ambienti cloud, on premise, virtualizzati e all'edge. Approfondisci le tecniche avanzate come la quantizzazione e la decodifica speculativa per migliorare le capacità di inferenza IA. Questo contenuto video on demand illustra il deployment e la gestione ideali dei modelli all'interno di OpenShift AI, mostrando come ottenere un'efficienza e una flessibilità senza precedenti per i carichi di lavoro di IA.

Riepilogo dei contenuti del corso

  • Cos'è l'inferenza?
  • Sfide legate all'inferenza
  • Soluzione Red Hat AI Inference
  • Integrazione con il portfolio Red Hat AI
  • Flessibilità del deployment
  • Strumento di compressione LLM (quantizzazione)
  • Tecniche di ottimizzazione delle prestazioni (cache KV, decodifica speculativa, inferenza con parallelismo tensoriale)
  • Casi cliente
  • Deployment e gestione dei modelli
  • Connessioni di storage per i modelli
  • Metriche e monitoraggio
  • Integrazione con Hugging Face

Destinatari del corso

  • Ingegneri e professionisti di AI/ML
  • Ingegneri DevOps
  • Architetti cloud e cloud engineer
  • Responsabili tecnici

Formazione consigliata

  • Non sono previsti requisiti per questa panoramica tecnica.
 Struttura del corso

Programma del corso

  • Cos'è l'inferenza?
  • Sfide legate all'inferenza
  • La soluzione di Red Hat AI Inference Server
  • Integrazione con il portfolio Red Hat AI
  • Flessibilità del deployment
  • Strumento di compressione LLM (quantizzazione)
  • Tecniche di ottimizzazione delle prestazioni (cache KV, decodifica speculativa, inferenza con parallelismo tensoriale)
  • Casi cliente
  • Deployment e gestione dei modelli
  • Connessioni di storage per i modelli
  • Metriche e monitoraggio
  • Integrazione con Hugging Face
 Risultati

Esami o corsi successivi consigliati

Scegli il Paese

Scopri di più

Altri modi per migliorare le tue competenze

Ottieni il meglio da entrambi i mondi: formazione virtuale con esperti e apprendimento autonomo, oltre all'aiuto di un esperto e a un esame di certificazione. È tutto incluso nella Red Hat Learning Subscription.

Corsi disponibili in sede

Se desideri formare l'intero team, possiamo farlo presso la tua sede, di persona o da remoto.

Red Hat Learning Subscription

Percorsi di formazione e training completi sui prodotti Red Hat, certificazioni riconosciute nel settore e un'esperienza di formazione IT flessibile e dinamica.