Il paradosso degli agenti e il caso dell'IA ibrida

Non è un segreto: il settore tecnologico sta adottando rapidamente lo sviluppo software basato su agenti per convertire i processi aziendali in flussi di lavoro basati su agenti completamente autonomi. Sebbene il potenziale di questi strumenti sia innegabile, gli attuali modelli a consumo rappresentano una problema. La maggior parte di queste soluzioni sfrutta un approccio model-as-a-service pronto a innescare una versione IA del paradosso del cloud: il paradosso degli agenti.

Il concetto è semplice. Il modo più rapido per aumentare la velocità dei processi aziendali consiste nell'utilizzare efficienti modelli di frontiera. Tuttavia, un'adozione sempre più diffusa rende questa strategia insostenibile. I costi dei token riducono i margini di profitto, la latenza imprevedibile può compromettere le prestazioni e l'instradamento di dati sensibili verso API pubbliche può violare riservatezza, sovranità e obblighi normativi. Per alleviare queste tensioni, le aziende devono andare oltre il semplice consumo, verso una strategia di architettura ibrida che dia priorità alla scelta.  

Il costo dell'innovazione

I punti di attrito sono già visibili. Alcuni report mostrano che le aziende esauriscono l'intero budget di spesa per il cloud in token entro la metà del secondo trimestre. Ci stiamo avvicinando a un momento critico in cui occorrono nuovi approcci per l'inferenza dei modelli, al fine di riaffermare il controllo su costi, prestazioni e dati. 

Come reagiranno le organizzazioni quando arriverà il conto delle spese di innovazione? Stiamo superando l'era del semplice utilizzo dei modelli. Dobbiamo progettare i sistemi che li supportano. L'adozione seguirà probabilmente un modello ibrido. In alcuni casi il consumo di token utilizzerà modelli di frontiera, mentre in altri sarà autogestito sul cloud pubblico o nei data center aziendali.

Una mentalità incentrata sul sistema

Gran parte del lavoro dei gruppi Research and Emerging Technologies di Red Hat si concentra sulla relazione tra i livelli di intelligenza e infrastruttura e produce progetti innovativi della community open source, come una base consolidata che si avvale di immagini per agenti di IA creata di recente. Trattando i carichi di lavoro di IA con lo stesso rigore del software aziendale tradizionale, l'open source offre la stabilità necessaria per gli ambienti di produzione. 

Questo cambiamento dell'architettura consente alle organizzazioni di passare da una visione incentrata sul modello a una mentalità incentrata sul sistema. In questo modello, il valore risiede nell'affidabilità dell'intero stack, anziché nell'API di un singolo provider.

Il meccanismo di scelta

Mentre un'azienda lavora per ritrovare l'equilibrio finanziario e creare una base per il controllo ibrido e la coerenza, il percorso iniziale in genere prevede l'utilizzo di un router o proxy di inferenza. Questo è l'approccio meno invasivo per ridurre i costi di inferenza in un'implementazione basata su agenti esistente con modifiche architetturali minime. Mantenendo la coerenza degli endpoint di inferenza, le organizzazioni possono passare da un provider di servizi all'altro o a modelli autogestiti che offrono un valore maggiore. 

Questo è il motivo per cui Red Hat ha creato progetti come vLLM Semantic Router ed llm-dPagina disponibile in Inglese (Italiano non disponibile): per esplorare nuove idee nell'ambito dell'IA e, nel caso di vLLM Semantic Router, dell'instradamento dell'inferenza e dell'economia dei token. Queste attività di ricerca e sviluppo all'avanguardia sono gli elementi costitutivi che alla fine danno forma alle piattaforme Red Hat. Progetti come vLLM Semantic Router forniscono l'instradamento intelligente ed efficiente necessario per navigare in un ambiente multimodale; disponendo di questo livello di intelligenza di routing, le organizzazioni possono riprendere il controllo dei carichi di lavoro in qualsiasi infrastruttura.

Una realtà ibrida

Oltre al routing dell'inferenza, il passaggio successivo per le organizzazioni consiste nell'esplorare soluzioni autogestite. Ciò significa utilizzare le più recenti offerte di modelli open weight fornite da una piattaforma di inferenza ad alte prestazioni come vLLM, ospitata sulla propria infrastruttura. 

Poi emerge una sfida fondamentale: in che modo le organizzazioni possono adottare i potenti processi aziendali basati sugli agenti, sviluppati tramite il model-as-a-service, e sostituirli con modelli open weight? In che modo le aziende possono replicare i pattern model-as-a-service per passare da consumatori di token a provider di IA? Quali compromessi dovrai affrontare durante questa transizione? Come puoi riuscirci con successo, senza ridurne l'efficacia?

Ogni azienda possiede anni di dati esclusivi e i modelli addestrati nel dominio pubblico sono privi di questo contesto e addestramento specifici. I modelli open weight eseguiti in locale possono essere accoppiati a queste sorgenti di dati private per migliorare in sicurezza l'accuratezza e le funzionalità degli agenti. Mentre alcuni modelli open weight possono rappresentare una sostituzione immediata, altri richiedono lavoro per colmare il divario di prestazioni tramite fine-tuning, distillazione e apprendimento per rinforzo. Con l'ingresso dell'apprendimento per rinforzo sul mercato, la precisione di questi modelli e dei relativi carichi di lavoro degli agenti migliorerà ulteriormente. Questo percorso porta infine a un'architettura ibrida. Alcuni modelli rimangono autogestiti per i carichi di lavoro principali, mentre altri vengono utilizzati tramite un'interfaccia di servizio gestita di terze parti. 

Red Hat è specializzata in soluzioni ibride. Così come abbiamo fornito una piattaforma ibrida per il consumo del cloud con Red Hat Enterprise Linux e Red Hat OpenShift, Red Hat AI Enterprise offre una piattaforma ibrida per la distribuzione di agenti e l'inferenza, indipendentemente dal modello in uso o da dove sia ospitato, a dimostrazione del fatto che la libertà di scelta passa attraverso l'open source. Il futuro dell'IA è ibrido e le piattaforme per costruirlo sono già disponibili a Red Hat.

Per ascoltare i dirigenti, i clienti e i partner di Red Hat, guarda gli interventi principali del Red Hat Summit in diretta su YouTube.

• The next platform is choice — martedì 12 maggio, ore 8:30-10:00 EDT
• The AI-ready enterprise is here — mercoledì 13 maggio, ore 9:00-10:00 EDT

Scopri di più sul Red Hat Summit e consulta tutti gli annunci Red Hat della settimana nella Red Hat Summit newsroom. Segui @RedHatSummit o #RHSummit su X per aggiornamenti specifici sull'evento.