Come vLLM accelera l'inferenza IA: 3 scenari di utilizzo aziendali

vLLM è un server di inferenza che accelera i processi di inferenza dell'IA gen nei modelli linguistici di grandi dimensioni (LLM) ottimizzando l'uso dello storage di memoria e delle unità di elaborazione grafica (GPU). 

Un utilizzo più efficiente delle GPU si traduce in LLM capaci di eseguire calcoli in modo rapido e scalabile. Questo è un aspetto cruciale per le aziende che necessitano di applicazioni in tempo reale, come chatbot o flussi di lavoro multimodali. 

In questo articolo illustreremo come tre note aziende utilizzano vLLM per erogare servizi all'avanguardia.

Vai alla panoramica su vLLM

Durante l'inferenza gli LLM utilizzano coppie chiave-valore per eseguire un numero elevato di calcoli matematici in poco tempo. 

Per comprendere il linguaggio ed elaborare le risposte, gli LLM si servono di coppie chiave-valore, ovvero associano un valore numerico a ogni token (termini o frasi). Ciascun token (chiave) è quindi associato a un numero (valore) e questo permette al modello di calcolare le risposte. 

L'inferenza IA si divide in due fasi principali e l'impiego di coppie chiave-valore è alla base di entrambe: 

• Precompilazione, ovvero la fase in cui il modello elabora il prompt iniziale. Le coppie chiave-valore per ciascun token vanno a formare la cache chiave-valore (KV), che funge da memoria a breve termine del modello.
• Decodifica, ovvero la fase in cui il modello genera nuovi token. Il modello sfrutta la cache KV esistente per calcolare le coppie chiave-valore di una risposta. 

Gli LLM memorizzano nella cache KV le coppie chiave-valore per ogni token elaborato. La cache cresce in base alla lunghezza dei prompt e agli output generati e può richiedere uno storage di memoria considerevole. I sistemi tradizionali di gestione della memoria degli LLM non prevedono di organizzare i calcoli e ottimizzare l'uso della memoria, e non sono quindi in grado di garantire modelli efficienti. 

vLLM utilizza una tecnica di gestione della memoria che analizza l'utilizzo della cache KV durante l'inferenza. Recupera i dati della cache in modo da identificare le coppie chiave-valore che si ripetono per evitare la frammentazione della memoria e alleggerire il lavoro del modello. Questa tecnica permette di ottimizzare l'uso della memoria delle GPU e accelerare l'inferenza. 

I vantaggi dell'inferenza IA

vLLM sfrutta diverse tecnologie e tecniche per ridurre l'utilizzo di storage e accelerare l'inferenza: 

• Batching continuo: si verifica quando il modello LLM avvia il processo di inferenza per il batch di token successivo anche se i calcoli per il token precedente non sono ancora terminati (vLLM può svolgere più attività contemporaneamente).
• PagedAttention: è una tecnologia innovativa che utilizza la cache KV per ricordare i token precedenti e sfruttarne la memoria per risparmiare spazio nella GPU.
• Decodifica speculativa: si utilizza un modello più piccolo e veloce per prevedere i token futuri. Questa tecnica permette di accelerare la fase di precompilazione.
• Quantizzazione: i parametri di modelli più grandi vengono compressi in formati più piccoli per ridurre le esigenze di storage senza sacrificare la precisione. Esistono diverse tecniche di quantizzazione per personalizzare i modelli.

Riuscire a ridurre di qualche unità il numero di token elaborati o impiegare qualche secondo in meno per generare una risposta potrebbero sembrare risultati trascurabili. Pensiamo però a un'azienda che applichi le stesse tecniche a migliaia di carichi di lavoro di IA, GPU e calcoli dei server di inferenza. In questo caso il risparmio di tempo, denaro e risorse sarebbe notevole. 

Le tecniche di risparmio della memoria sono un elemento imprescindibile per le organizzazioni che desiderano estendere l'IA all'intera azienda. 

Scopri come accelerare l'IA scalabile con l'inferenza distribuita

Le organizzazioni utilizzano l'inferenza IA per carichi di lavoro ad alto volume e ad alta variabilità. Tuttavia, per distribuire gli LLM in modo coerente e scalabile è necessario disporre di un’elevata potenza di elaborazione, risorse e competenze operative specializzate. 

vLLM permette di superare queste difficoltà razionalizzando l'utilizzo degli hardware necessari a supportare i processi di inferenza IA in contesti enterprise. Questo è il motivo per cui vLLM è particolarmente interessante per i settori che hanno bisogno di flessibilità e controllo, oltre alla velocità. 

Scopri i vantaggi dell'IA scalabile

Essendo una soluzione open source, vLLM consente alle aziende di: 

• Possedere e gestire le proprie GPU.
• Controllare i propri dati.
• Sperimentare con nuovi modelli appena vengono rilasciati.

La soluzione offre anche massima libertà, riduce il costo per token e limita i problemi di privacy. 

vLLM è compatibile con un'ampia gamma di hardware, come GPU NVIDIA e AMD, TPU Google, Intel Gaudi e AWS Neuron, e si può distribuire in diversi ambienti, come cloud, datacenter ed edge della rete.

vLLM e Ollama a confronto: quando utilizzare ciascun framework

Dai processi di selezione del personale ai giochi online, l'inferenza su larga scala è un'attività che può diventare complessa molto rapidamente. 

Illustriamo ora i risultati di tre aziende che utilizzano con successo il progetto open source vLLM. Non si tratta di clienti Red Hat, ma sono organizzazioni che hanno scelto di affidarsi alla community vLLM e adottare la tecnologia che sviluppa. 

In che modo Roblox utilizza vLLM?

Roblox è una piattaforma di gaming online che ospita milioni di utenti in tutto il mondo. Questi possono sia creare le loro esperienze di gioco che provare quelle sviluppate da altri. 

La sua ultima funzionalità, Assistant, un chatbot basato sull'IA e progettato per snellire la creazione di contenuti, ha portato il numero di token elaborati a oltre un miliardo la settimana. Inoltre, la piattaforma offre anche altre funzionalità che complicano ulteriormente l'inferenza, come la traduzione in tempo reale delle chat tramite IA e un modello di sicurezza vocale. In questo caso la multimodalità si applica a milioni di interazioni tra utenti, il che aumenta significativamente il numero di token da elaborare e le risorse necessarie per l'inferenza. 

Per gestire i costanti incrementi di elaborazione Roblox ha adottato vLLM come motore di inferenza principale. Grazie alle funzionalità di decodifica speculativa di vLLM, l'azienda è oggi in grado di tenere il passo con le attività linguistiche e soddisfare la sua base di clienti globale. Dall'adozione di vLLM Roblox è riuscita a ridurre del 50% la latenza e gestisce quattro miliardi di token la settimana. 

vLLM consente a Roblox di offrire scalabilità e soddisfare le esigenze degli utenti mentre la sua piattaforma continua a crescere. Roblox ha scelto vLLM perché è in linea con il suo impegno a supportare le tecnologie open source. 

Guarda il vLLM Office Hours di Red Hat per saperne di più sull'esperienza di Roblox. 

Scopri di più su Roblox e vLLM

In che modo LinkedIn utilizza vLLM?

LinkedIn ha adottato vLLM per supportare un'ampia gamma di scenari di utilizzo dell'IA gen e rispondere così alle esigenze dei suoi destinatari attivi. 

LinkedIn è uno dei principali social network professionali al mondo e conta oltre un miliardo di membri provenienti da oltre 200 Paesi. Grazie a vLLM l'azienda supporta oggi più di 50 scenari di utilizzo dell'IA gen, come ad esempio LinkedIn Hiring Assistant. 

Utilizzando calcoli di classificazione complessi, LinkedIn Hiring Assistant filtra le qualifiche dei candidati come anni di esperienza, competenze e precedenti occupazioni. In questo modo, i recruiter possono individuare i candidati in base alla posizione più adatta. 

Per elaborare classificazioni così diverse occorrono però molti token (in media 1000 per candidato) e consideriamo che per ciascuna offerta di lavoro possono presentarsi migliaia di candidati. 

Le qualifiche presentano però delle somiglianze e oltre il 50% delle candidature condividono i medesimi prefissi. Questo fa di LinkedIn Hiring Assistant uno scenario di utilizzo ideale per l'applicazione della tecnologia PagedAttention e delle funzionalità di batching continuo di vLLM al fine di ridurre la latenza, massimizzare il throughput e limitare l'utilizzo di storage. 

Il tempo per token di output (time per output token, TPOT) indica il tempo medio necessario per generare un token. Ad oggi LinkedIn è riuscita a migliorare il suo TPOT del 7% grazie a vLLM. 

Scopri di più su LinkedIn e vLLM

In che modo Amazon utilizza vLLM?

Rufus è l'assistente per lo shopping basato sull'IA gen di Amazon progettato per supportare i clienti in fase di acquisto e migliorare la loro esperienza sulla piattaforma. Rufus ha servito 250 milioni di clienti nel 2025 è il numero è destinato a crescere. 

Con così tanti clienti che interagivano con l'assistente per lo shopping, la complessità dell'inferenza è aumentata. Amazon si è resa conto che nessun chip o istanza aveva memoria sufficiente per garantire il corretto funzionamento di Rufus. 

Amazon ha quindi dato priorità a funzionalità di inferenza multinodo scalabili per ottenere massima precisione, elevata velocità e minore latenza. Per ottenere processi di inferenza fluidi e veloci ha quindi adottato un'architettura multinodo e l'ha integrata con vLLM. 

Grazie alla funzionalità di batching continuo di vLLM, l'architettura multinodo è in grado di pianificare in maniera puntuale l'elaborazione delle inferenze in modo che il volume dei token non causi latenza o cali nelle prestazioni. 

Servendosi di vLLM per migliorare l'efficienza e il throughput dei suoi LLM, Amazon potrà continuare a far crescere i suoi progetti di IA gen, come Rufus, e rispondere alle future esigenze dei suoi clienti.

Scopri di più su Amazon e vLLM 

vLLM continuerà a essere uno strumento chiave per l'inferenza IA anche in futuro grazie alle sue capacità chiave: 

• Velocità: le funzionalità di inferenza sono in continua evoluzione. I fornitori di modelli e hardware per vLLM contribuiscono direttamente al progetto per migliorare la velocità e l'efficienza dei modelli.
• Community: vLLM dispone di un'ampia community open source in costante crescita. I dieci principali produttori di modelli, tra cui Deepseek, NVIDIA, Meta e Google, stanno sviluppando modelli predefiniti per vLLM perché ne hanno riconosciuto l’efficacia.
• Flessibilità: vLLM è compatibile con la maggior parte degli hardware per l'IA, tra cui GPU NVIDIA e AMD, TPU Google, Intel Gaudi, AWS Neuron, MetaX, Rebellions e altri. Il fatto di supportare un'ampia gamma di soluzioni hardware offre alle organizzazioni tutta la flessibilità di cui hanno bisogno per ottenere risultati rapidi senza sprecare le risorse di cui già dispongono.
• Supporto immediato: quando i creatori di modelli più diffusi, come Meta o Google, rilasciano un nuovo modello, vLLM conosce già le architetture esistenti. Ciò significa che vLLM è in grado di offrire un supporto immediato (day zero) per i nuovi modelli. vLLM è una soluzione accessibile e pronta all'uso che permette alle aziende di accelerare il deployment dei modelli e mitigare i costi. 

vLLM include anche llm-d, un framework di inferenza distribuita per la gestione e la scalabilità degli LLM nel cloud ibrido.

Scopri la community vLLM su GitHub

Red Hat® AI è progettato per un'inferenza rapida, flessibile ed efficiente tramite un server basato su vLLM. Collega in modo affidabile i modelli ai dati per unificare la personalizzazione e lo sviluppo di agenti specializzati su un'unica piattaforma. Realizzati su una base open source, i nostri prodotti offrono il pieno controllo dei flussi di lavoro dell'IA, dall'inizio alla fine, su qualsiasi scala. 

L'offerta Red Hat AI include Red Hat AI Inference, uno stack di inferenza che fornisce il controllo operativo necessario per l'esecuzione di qualsiasi modello su qualsiasi acceleratore nel cloud ibrido. Ottieni un'inferenza rapida, efficiente, conveniente e scalabile. 

Scopri Red Hat AI