Google Cloud e Red Hat aiutano un provider media a ridurre i costi IA con hardware flessibile

Google Cloud offre una piattaforma di IA ottimizzata e completamente integrata in modo scalabile, che include chip personalizzati, modelli di IA generativa, una piattaforma di sviluppo e applicazioni basate sull'IA. Google Cloud è stato nominato AI Visionary Partner of the Year in occasione dei Red Hat® Ecosystem Innovation Awards 2026.

Per aumentare l'efficienza dei carichi di lavoro Trust and Safety, un’azienda tecnologica globale specializzata nella fornitura di media digitali si è rivolta a Google Cloud e Red Hat Professional Services. Il team ha definito una soluzione che offre la flessibilità di passare tra le unità di elaborazione grafica (GPU) e le tensor processing unit (TPU) di Google Cloud, rendendo più rapide le prestazioni con le TPU. Usare le TPU consente anche di abbattere i costi, con un risparmio finanziario del 92% per l'esecuzione dei carichi di lavoro di sicurezza e del 62% per quelli di IA gen. Questi vantaggi in termini di costi ed efficienza aiutano il cliente a offrire tempi di risposta più rapidi per migliorare l'esperienza degli utenti, tutelandoli maggiormente e consolidando la loro fiducia. 

I sistemi Trust and Safety sono un requisito fondamentale per le piattaforme digitali moderne, dove ogni interazione degli utenti deve essere valutata in tempo reale per prevenire violazioni, salvaguardare la conformità e mantenere la fiducia degli utenti. 

In qualità di fornitore globale di piattaforme per la tecnologia e i media digitali, il cliente aveva bisogno di una soluzione di inferenza scalabile per i contenuti basati sull'IA e per supportare i protocolli Trust and Safety. Per garantire una risposta pressoché immediata, i sistemi di sicurezza dell'azienda devono scansionare le query degli utenti globali con un rigido obiettivo del livello di servizio (SLO) di latenza inferiore a 50 millisecondi. Al fine di operare in modo più rapido ed economico a livello globale, il cliente desiderava mitigare i rischi associati ai guasti delle unità di elaborazione grafica (GPU) e ridurre i costi operativi. Aveva bisogno di una soluzione che riducesse l'affidamento su un hardware specifico, mantenendo al tempo stesso prestazioni elevate per i modelli linguistici di grandi dimensioni (LLM). 

Il cliente ha collaborato con Google Cloud e Red Hat per definire una soluzione usando il motore di inferenza vLLM (modello di linguaggio virtuale di grandi dimensioni) sulle TPU di Google Cloud più recenti. Progettate da Google appositamente per il machine learning con le reti neurali, le TPU offrono un'alternativa più rapida ed efficiente alle GPU. Allo stesso tempo, vLLM offre il motore di inferenza ad alto throughput di cui il team aveva bisogno per rispondere al rigido SLO di latenza del cliente. La soluzione sfrutta vLLM con Ray, un framework di elaborazione open source distribuito, come livello di orchestrazione a supporto dei servizi online scalabili e dell'inferenza batch. 

Il team ha deciso di collaborare con Red Hat perché è uno dei principali contributori al progetto open source di vLLM e l'ha integrato nel portafoglio dei prodotti. La strategia di adozione includeva il confronto delle prestazioni delle TPU rispetto alla configurazione esistente delle GPU. Il team ha ottimizzato il codice di sistema a basso livello, da cui è derivato un aumento del 400% della velocità delle prestazioni per gli input più piccoli. L'esercizio ha dimostrato che passare dalle GPU alle TPU è stato di notevole semplicità anche con il Google Kubernetes Engine: il team ha dovuto semplicemente aggiornare le impostazioni di configurazione e usare un'immagine delle TPU di vLLM.

Grazie al progetto con Google Cloud e Red Hat, il cliente ora può eseguire i carichi di lavoro Trust and Safety nel rispetto dei rigidi SLO di latenza. "Prestazioni più rapide sono sinonimo di migliori esperienze utente", ha affermato Brittany Rockwell, Senior Product Manager, Google Cloud. "Abbiamo dimostrato al cliente che utilizzare le TPU per i carichi di lavoro Trust and Safety non solo aumenta la velocità, ma riduce anche i costi in modo notevole."

Per i carichi di lavoro di sicurezza che elaborano soprattutto query in entrata, la soluzione riduce i costi del 92% usando le TPU rispetto all'hardware delle GPU, oltre ad avere una velocità superiore del 400%. Per le funzionalità di IA gen sensibili alla latenza, la soluzione riduce i costi del 62% rispetto all'uso delle GPU. Il sistema si dimostra sia rapido sia conveniente per l'elaborazione di input di dati su larga scala; l'elaborazione delle batch per il mapping delle entità ha raggiunto un costo di soli 0,48 USD per milione di token, con un throughput di 14.000 token al secondo. Il cliente sta pianificando di effettuare il provisioning delle TPU nei cluster esistenti entro i prossimi sei mesi, e sta continuando a ottimizzare le prestazioni per i carichi di lavoro tipici.