L'IA agentica richiede nuove tecnologie per l’infrastruttura: AMD e Red Hat rispondono a questa esigenza

L'IA agentica non si limita a far progredire l'IA, ma capovolge l'infrastruttura progettata per l'inferenza tradizionale. L'IA agentica, formata da sistemi che ragionano, pianificano, utilizzano strumenti ed eseguono autonomamente attività multifase, sta passando rapidamente dalla fase di ricerca a quella di produzione. 

Questo cambiamento non riguarda solo una maggiore potenza di calcolo, ma trasforma radicalmente le modalità con cui l'infrastruttura deve offrire prestazioni, ridimensionarsi e ottimizzarsi per flussi di lavoro di ragionamento continui e multifase.

Tuttavia, gli agenti rappresentano carichi di lavoro fondamentalmente diversi: richiamano ripetutamente i modelli, si distribuiscono su vari strumenti e sorgenti di dati e devono operare in modo continuo ed efficiente in termini di costi. 

Questo richiede un nuovo tipo di infrastruttura, che spazi da GPU ad alte prestazioni per il ragionamento complesso a CPU per le attività di inferenza, fino all'orchestrazione e alla pianificazione intelligente per coordinare il tutto.

Insieme, AMD e Red Hat rendono possibile questa transizione, offrendo una base infrastrutturale aperta e ad alte prestazioni, progettata per aiutare le aziende a rendere operativa l'IA agentica su larga scala. 

Inferenza IA a throughput elevato con AMD Instinct MI355X e Red Hat AI 3.4

I carichi di lavoro dell'IA agentica richiedono per loro natura un uso intensivo dell'inferenza. Ogni passaggio del ragionamento, ogni chiamata a uno strumento, ogni decisione presa da un agente rappresenta un'inferenza del modello. Quando orchestrano flussi di lavoro complessi, recuperando documenti, generando codice e convalidando gli output, gli agenti possono effettuare decine di chiamate di inferenza per ogni attività. Questo rende cruciali il throughput e la capacità di memoria della GPU.

Red Hat AI 3.4 ora supporta l'inferenza su AMD Instinct™ MI355X, la GPU per datacenter di punta di AMD, basata sull'architettura AMD CDNA™ 4. Con 288 GB di memoria HBM3E e 8 TB/s di larghezza di banda, può gestire i più grandi modelli open source di oggi, ossia i modelli di frontiera alla base del ragionamento avanzato degli agenti, utilizzando meno acceleratori e riducendo il costo totale di proprietà. Realizzata con la tecnologia di processo a 3 nm di TSMC e in grado di offrire prestazioni FP16 fino a 5 PF, fornisce il throughput necessario per consentire una scalabilità efficiente dei carichi di lavoro dell'IA agentica. 

Grazie alla completa integrazione di Red Hat AI con ROCm 7, le organizzazioni possono distribuire l'inferenza accelerata da AMD Instinct MI355X su Red Hat OpenShift, utilizzando l'AMD GPU Operator per una configurazione Day-0 semplificata. Il supporto esteso per i tipi di dati MXFP6 e MXFP4 consente una distribuzione più efficiente dei modelli quantizzati, aiutando i team a eseguire più agenti su ogni GPU senza sacrificare la qualità del ragionamento che li rende utili.

In pratica, questo significa che le aziende possono eseguire modelli più grandi con meno acceleratori, riducendo l'ingombro infrastrutturale, diminuendo i consumi energetici e ottimizzando il costo per ciascuna inferenza. Per l'IA agentica, in cui i flussi di lavoro possono generare decine di chiamate al modello per ciascuna attività, questa efficienza si traduce direttamente in tempi di risposta più rapidi e in un costo inferiore per interazione. 

Espandi la flessibilità di distribuzione dell'IA con la scheda PCIe AMD Instinct MI350P (anteprima)

Red Hat AI aggiunge il supporto in anteprima per l'acceleratore su scheda PCIeⓇ AMD Instinct MI350P, portando l'architettura AMD CDNA™ 4 nelle infrastrutture server standard dei datacenter. Caratterizzate da un fattore di forma PCIe a doppio slot con una potenza totale della scheda (TBP, Total Board Power) configurabile a 600 W e raffreddamento ad aria passivo, queste schede si integrano perfettamente nei datacenter aziendali senza richiedere interventi importanti sui sistemi di alimentazione e raffreddamento. 

Le schede PCIe AMD Instinct MI350P supportano i formati tradizionali a 16 e 8 bit, oltre a MXFP6 e MXFP4 per una distribuzione efficiente dei modelli. Inoltre, grazie a 144 GB di memoria HBM3E e a una larghezza di banda di picco della memoria fino a 4,0 TB/s, consentono di eseguire inferenze ad alte prestazioni negli ambienti in cui i sistemi basati su OAM (Open Accelerator Module) non sono pratici. In questo modo, le aziende di qualsiasi dimensione possono integrare tecnologie GPU all'avanguardia nella propria infrastruttura ed eseguire con facilità ed efficienza carichi di lavoro basati su modelli di piccole e grandi dimensioni.

Le schede PCIe AMD Instinct MI350P consentono alle aziende di estendere l'adozione dell'IA a più carichi di lavoro in modo gestibile, economicamente vantaggioso e scalabile. Queste schede acceleratrici offrono flessibilità di distribuzione per l'IA agentica, consentendo alle organizzazioni di eseguire l'inferenza più vicino ai dati, ridurre la latenza e supportare flussi di lavoro di agenti distribuiti in tempo reale senza riprogettare l'infrastruttura esistente.

Scheda PCIe AMD Instinct MI350P

Inferenza distribuita e posizionamento dei carichi di lavoro per l'IA agentica

L'IA agentica comporta il coordinamento dell'infrastruttura corretta per ciascuna parte del flusso di lavoro. Red Hat AI offre funzionalità native di Kubernetes per distribuire, ridimensionare, monitorare e gestire i carichi di lavoro di IA su infrastrutture basate su acceleratori e CPU. I team della piattaforma possono configurare i profili degli acceleratori, abilitare il model serving supportato da GPU AMD, definire le risorse hardware a livello di progetto e utilizzare funzionalità di pianificazione, quota delle code e gestione dei carichi di lavoro di OpenShift per collocarli sull'infrastruttura appropriata.

Per il model serving, Red Hat AI supporta i runtime basati su KServe e vLLM sulle GPU AMD, inclusi gli acceleratori AMD Instinct, mentre l'infrastruttura basata su CPU può essere utilizzata per attività di orchestrazione, recupero, preelaborazione, routing e inferenza più leggere. OpenShift AI include anche llm-d per la scalabilità dell'inferenza dell'IA. llm-d estende il serving basato su vLLM con funzionalità di inferenza distribuita nativa di Kubernetes, come la disaggregazione di prefill e decodifica o il routing KV-cache-aware. Insieme alle GPU AMD Instinct e alle CPU AMD EPYC™, OpenShift AI e llm-d offrono alle aziende una base pratica per le piattaforme di IA agentica in grado di combinare il ragionamento accelerato da GPU con un'esecuzione efficiente dei flussi di lavoro basati su CPU.

Il risultato è un sistema ottimizzato che migliora l'efficienza, riduce il consumo superfluo di GPU ed estende i servizi di IA senza aumenti lineari dei costi.
 

Inferenza vLLM su CPU ad alte prestazioni con AMD EPYC e AMD ZenDNN

Non tutte le chiamate dell'agente richiedono una GPU. I sistemi agentici sono intrinsecamente componibili: un singolo flusso di lavoro può indirizzare il ragionamento complesso a un modello di grandi dimensioni su una GPU, smistando al contempo le attività più semplici, come classificazione, estrazione o routing, a modelli più piccoli. Eseguire ogni chiamata tramite GPU è inefficiente quando le CPU possono gestire efficacemente le fasi a bassa latenza. Nei moderni sistemi di IA, le CPU non sono più solo un'infrastruttura di supporto, ma costituiscono un motore fondamentale per l'inferenza scalabile. 

Red Hat AI 3.4 introduce vLLM-CPU con il backend ZenDNN, portando l'inferenza delle CPU ad alte prestazioni sui processori AMD EPYC. ZenDNN offre kernel sintonizzati e primitive ottimizzate che consentono di eseguire in modo efficiente framework come PyTorch sulle CPU AMD EPYC, sbloccando un potente motore per i carichi di lavoro di IA scalabili. 

Estendendo i framework nativi con grafi e operatori ottimizzati per AMD EPYC, tra cui pattern fusi, esecuzione vettoriale e microkernel DLP di AMD Optimizing CPU Libraries (AOCL), consente un'accelerazione senza alcuna modifica al codice grazie a ZenDNN integrato in vLLM. Il risultato è un percorso plug-and-play verso un'inferenza ad alto throughput sull'infrastruttura esistente, con un'ampia compatibilità tramite PyTorch torch.compile e il supporto upstream in vLLM 0.18.0. 

Grazie alla quantizzazione INT8/INT4 e all'integrazione ottimizzata di vLLM, i modelli di IA generativa (gen AI) possono essere eseguiti in modo efficiente sull'infrastruttura CPU, consentendo soluzioni a basso costo e a basso consumo per carichi di lavoro ibridi non strettamente vincolati alla latenza. Ciò consente di eseguire l'inferenza di IA insieme all'elaborazione generica sui parchi CPU AMD EPYC esistenti, ottimizzando l'uso dell'infrastruttura e riducendo la necessità di acceleratori dedicati in ogni distribuzione.

L'inferenza su CPU è particolarmente utile in scenari aziendali quali l'elaborazione batch al di fuori delle ore di punta, i carichi di lavoro ibridi in cui l'IA rappresenta solo una parte del calcolo totale e un'adozione dell'IA con barriere d'ingresso minime, sfruttando l'infrastruttura, le competenze e gli ambienti raffreddati ad aria già in uso.

I processori AMD serie 9005 sono progettati appositamente per il tipo di lavoro parallelo e sempre attivo richiesto dall'IA agentica. Con un massimo di 192 core (384 thread SMT), un'elevata larghezza di banda di memoria, un'ampia capacità di cache e di I/O e prestazioni dei core superiori, forniscono la potenza di calcolo su CPU necessaria per gestire orchestrazione, recupero, preelaborazione, chiamate di strumenti, routing e inferenza dei modelli su larga scala. 

Il futuro processore AMD EPYC di nuova generazione, con nome in codice "Venice", estenderà ulteriormente queste capacità con un massimo di 256 core (512 thread), il supporto per MRDIMM in grado di offrire velocità di memoria fino a 12,8 MT/s e una larghezza di banda fino a 1,64 TB/s, insieme allo standard PCIe Gen 6 per un I/O ad alto throughput. 

In pratica, ciò consente alle GPU di concentrarsi sul ragionamento complesso, mentre le CPU AMD EPYC gestiscono in modo efficiente il flusso di lavoro dell'agente circostante, servendo numerose richieste simultanee, mantenendo una bassa latenza e ottimizzando l'utilizzo complessivo dell'infrastruttura. 

Prestazioni: AMD EPYC 9R45 in azione

Per dimostrare le capacità del backend ZenDNN, abbiamo condotto un benchmark delle prestazioni utilizzando il processore AMD EPYC 9R45 da 96 core. La valutazione si è concentrata su un benchmark di inferenza su CPU "chat_lite" con un carico di lavoro a contesto breve di 128:128.

Configurazione dei test

L'ambiente utilizzava le istanze m8a.metal-48xl di AWS. L'architettura sfruttava cinque diverse istanze di Red Hat AI Inference 3.4, ciascuna con 32 core allocati e caching dei prefissi abilitato per ottimizzare il throughput. GuideLLM fungeva da strumento di valutazione principale, con routing attraverso un bilanciatore di carico NGINX per orchestrare la valutazione delle prestazioni vLLM-CPU.

Scalabilità a throughput elevato

Con l'aumento dei sistemi concorrenti, AMD EPYC dimostra una notevole scalabilità. 

• Efficienza quantizzata: il modello W8A8 quantizzato ha raggiunto un throughput medio di circa 2.421 token/sec con una concorrenza pari a 160.
• Prestazioni massime: allo stesso livello di concorrenza, il throughput P95 per il modello quantizzato è salito a oltre 3.260 token/sec, dimostrando la capacità del processore di gestire carichi di lavoro basati su agenti con picchi improvvisi di attività.
• Prestazioni di base: anche il modello FP16 Llama-3.1-8B standard ha mantenuto un throughput medio costante di circa 1.500 token/sec con un livello di concorrenza pari a 160.

Latenza prevedibile per i flussi di lavoro basati su agenti

Perché gli agenti di IA risultino reattivi, il tempo per il primo token (TTFT) e la latenza tra token (ITL) sono di importanza critica.

• Reattività: il modello quantizzato mantiene un TTFT medio particolarmente basso, rimanendo ben al di sotto della soglia di 2 secondi anche con una concorrenza pari a 160.
• Fluidità: l'ITL medio per il modello quantizzato si mantiene costante, attestandosi intorno a 100-130 ms nell'intero spettro di test.
• Efficienza end-to-end: la latenza media end-to-end (E2E) per una generazione completa sul modello quantizzato è stata di circa 16,8 secondi al livello massimo di concorrenza, rispetto agli oltre 27 secondi della versione non quantizzata. 

Continuiamo a collaborare a stretto contatto con AMD sulle versioni future per perfezionare e ottimizzare ulteriormente le prestazioni dei processori AMD EPYC, con vLLM e ZenDNN integrati in Red Hat AI Inference. Forniremo ulteriori aggiornamenti non appena queste ottimizzazioni saranno disponibili. 

L'infrastruttura richiesta dall'IA basata su agenti

Al Red Hat Summit 2026, AMD e Red Hat hanno annunciato una base integrata ed enterprise-ready per l'IA basata su agenti. Sulla base di una collaborazione strategica che ha già portato le GPU AMD Instinct e le CPU AMD EPYC nel cuore di Red Hat AI, insieme abbiamo creato la base di calcolo per l'IA agentica aziendale.

Il passaggio dall'inferenza agli agenti non è solo un cambiamento a livello software, ma rappresenta un punto di svolta per l'infrastruttura. Gli agenti richiedono GPU a throughput elevato per il ragionamento complesso, CPU per attività leggere, fattori di forma flessibili per distribuzioni diversificate e una pianificazione intelligente per allineare le risorse di calcolo alla domanda in tempo reale.

AMD e Red Hat ora offrono questa base: MI355X per l'inferenza dei modelli di frontiera, AMD EPYC vLLM-CPU per chiamate convenienti e leggere e MI350P per portare l'accelerazione GPU in nuovi ambienti. Il tutto basato sull'open source. Il tutto enterprise-ready. Il tutto disponibile su Red Hat AI.

L'IA agentica sta ridefinendo il modo di operare delle aziende e l'infrastruttura rappresenta ormai un elemento di differenziazione strategico. Con gli acceleratori AMD Instinct e i processori AMD EPYC profondamente integrati in Red Hat AI, le organizzazioni possono distribuire piattaforme di IA aperte, scalabili ed efficienti, progettate per un impatto reale. Insieme, AMD e Red Hat non si limitano a supportare l'era dell'IA agentica, ma aiutano le aziende a renderla operativa.