Prima della creazione: uno sguardo ai sistemi di agentic AI con Red Hat AI

L'agentic AI sta cambiando il modo in cui le aziende concepiscono l'automazione, i processi decisionali e la scalabilità. Ma creare un agente reale non è semplice come inviare richieste a un chatbot. I sistemi agentic per la produzione non si limitano ai modelli linguistici: richiedono un'architettura unificata che coordini il ragionamento, orchestri gli strumenti, conservi la memoria, salvaguardi i dati e governi il comportamento.

Questo ebook offre un'analisi tecnica dell'architettura basata sull'approccio open source di Red Hat. Dall'inferenza all'orchestrazione degli strumenti, fino alla sicurezza e all'osservabilità, ogni componente deve essere modulare, incentrato sulla sicurezza e pronto per la produzione. È qui che entra in gioco Red Hat® AI. Realizzato con Red Hat OpenShift® AI e basato su Llama Stack, Red Hat AI è una piattaforma che fornisce lo scaffolding per creare, distribuire e gestire agenti intelligenti in modo scalabile.

Invece di dover gestire framework frammentati e toolchain incoerenti, le organizzazioni possono utilizzare Red Hat AI per standardizzare le modalità di creazione e la scalabilità dei flussi di lavoro degli agenti. Grazie a standard open source come il Model Context Protocol (MCP), Red Hat consente di unificare l'individuazione e l'utilizzo degli strumenti da parte degli agenti. Integrando funzionalità di sicurezza, valutazione e automazione dell'infrastruttura, Red Hat aiuta i team a passare dal proof of concept alla produzione con maggiore ripetibilità e affidabilità.

Termini da conoscere

• Flussi di lavoro e sistemi di agentic AI.
  I sistemi di agentic AI non sono semplici modelli linguistici di grandi dimensioni (LLM). Si tratta piuttosto di insiemi di più sistemi di IA che collaborano utilizzando ragionamento, memoria, pianificazione e strumenti esterni per svolgere attività complesse nel tempo. Questi sistemi seguono flussi di lavoro strutturati, consentendo a un'IA di agire in modo autonomo o semi-autonomo in risposta alle condizioni effettive.
• Model Context Protocol (MCP).
  MCP è uno standard open source che definisce la modalità in cui gli agenti IA interagiscono con strumenti, dati e memoria in modo coerente e interpretabile. Aiuta gli sviluppatori a progettare sistemi di IA che favoriscano la modularità, il riutilizzo, il debug e la scalabilità.
• Llama Stack.
  Llama Stack è un livello software unificato che racchiude i modelli Llama in strumenti pronti per la produzione, tra cui interfacce di programmazione delle applicazioni (API), orchestrazione, registrazione e integrazione degli strumenti. Semplifica il deployment e il funzionamento dei sistemi di agentic AI basati su Llama negli ambienti enterprise.
• LangChain.
  LangChain è un framework open source che aiuta gli sviluppatori a creare applicazioni complesse utilizzando modelli linguistici. Proprio come MCP e Llama Stack, fornisce strumenti per connettere i modelli con dati, memoria e strumenti esterni. Sebbene Red Hat AI non lo utilizzi come framework di base, la piattaforma open source flessibile è in grado di supportare altri approcci se sono appropriati per un progetto.

La creazione di un sistema di agentic AI va ben oltre l'incorporamento di un modello linguistico di grandi dimensioni (LLM) in un'applicazione. Alla base di qualsiasi agente efficace c'è un sistema in grado di ragionare, pianificare, agire e apprendere, e tutto ciò si basa su una serie diversificata di componenti tecnici. Questi includono catene di ragionamento che suddividono i problemi in sotto-attività, prompt che definiscono il comportamento degli agenti, memoria per la gestione del contesto e strumenti esterni che offrono la possibilità di intervenire oltre i pesi pre-addestrati dell'LLM.

Red Hat AI aiuta a semplificare questa architettura complessa. Realizzata con OpenShift AI come componente principale, la piattaforma riunisce funzionalità essenziali come inferenza, orchestrazione, sicurezza, osservabilità e conformità e le collega agli strumenti necessari agli agenti IA per funzionare in modo efficace.

Con Red Hat AI, i team possono muovere i primi passi in scenari di utilizzo gestibili e scalabili nel tempo. Molte organizzazioni iniziano con la creazione di agenti di recupero interni, distribuendo bot di conoscenze ottimizzati dagli LLM che rispondono a domande basate su dati specifici dell'azienda. Altri creano agenti per la correzione dei log e la risoluzione degli incidenti IT, integrando l'osservabilità di Red Hat OpenShift con Red Hat Ansible® Automation Platform e interfacce di programmazione delle applicazioni (API) esterne. Un altro scenario comune è la migrazione del codice assistita dall'IA, in cui gli agenti supportano le transizioni dai sistemi tradizionali a quelli moderni analizzando i repository e proponendo percorsi di upgrade.

Questi agenti non sono assistenti a singolo prompt, bensì fanno parte di flussi di lavoro in più fasi con ragionamento e memoria incorporati. Con l'aumentare della complessità, Red Hat offre funzionalità complete di orchestrazione e gestione del ciclo di vita per le applicazioni multiagente, con punti di controllo decisionali e di delega chiari. 

Scenari di utilizzo

Le modalità odierne di creazione degli agenti 

Reclutamento e coordinamento degli studi clinici

Un'azienda sanitaria ha adottato un sistema di agenti per automatizzare il reclutamento nelle fasi iniziali delle sperimentazioni cliniche, riducendo il lavoro manuale e accelerando l'individuazione dei lead idonei. Il sistema inizia con l'identificazione dei potenziali candidati tramite annunci su Facebook o le cartelle cliniche elettroniche caricate online. Una volta assimilati i dati, un agente IA dotato del contesto specifico dello studio avvia la comunicazione via SMS (e progressivamente via chiamate), condivide i dettagli della sperimentazione regolamentata e risponde alle domande. Ai lead qualificati viene proposto un sondaggio preliminare per determinare l'idoneità. In caso di superamento, ricevono un link per prenotare un appuntamento tramite un widget di pianificazione. La conformità all'Health Insurance Portability and Accountability Act (HIPAA) viene mantenuta attraverso accordi di collaborazione con provider come OpenAI, e i dati dei pazienti non vengono mai utilizzati per addestrare i modelli. Il sistema funziona con le integrazioni standard per centralizzare la pianificazione e il tracciamento dei lead.

Il passaggio dalla prototipazione alla produzione rimane una delle sfide più complesse nell'IA per le aziende, in particolare per quanto riguarda le applicazioni agentic. Con OpenShift AI le organizzazioni sono supportate nella creazione, nell'esecuzione e nella gestione delle applicazioni agentic.

OpenShift AI incorpora le tecnologie essenziali di Red Hat per fornire una base di produzione per i carichi di lavoro degli agenti. Fondamentale è il modello basato sugli operatori, che codifica le procedure consigliate per il deployment e automatizza la configurazione della piattaforma. Gli operatori semplificano tutto, dalla scalabilità automatica all'integrazione dell'osservabilità, all'ottimizzazione delle prestazioni alle strategie di scalabilità orizzontale o verticale, consentendo agli ingegneri di concentrarsi sulla creazione degli agenti, non sulla gestione dell'infrastruttura.

OpenShift AI si basa sulle funzionalità di Red Hat OpenShift per offrire una piattaforma per la gestione scalabile del ciclo di vita dei modelli di IA generativa e predittiva.

L'integrazione nativa della piattaforma con componenti come Llama Stack e MCP contribuisce a unificare le pratiche di sviluppo e deployment. Gli sviluppatori possono sfruttare l'API compatibile con OpenAI di Llama Stack per la fase di creazione e distribuire gli agenti in tutta sicurezza, sapendo che le stesse interfacce utilizzate per i test locali sono supportate negli ambienti di produzione. I server MCP offrono un modo standard per esporre e gestire gli strumenti, con compatibilità tra framework e una solida integrazione nello stack di sicurezza e osservabilità di Red Hat.

Sicurezza e conformità sono parte integrante di OpenShift AI. L'attenzione di Red Hat agli ambienti regolamentati consente di distribuire le applicazioni agentic con protezioni e accesso basato sui ruoli già integrati. Gli strumenti di osservabilità integrati aiutano i team a tenere traccia delle decisioni degli agenti, a monitorare le chiamate agli strumenti e a creare pipeline di analisi che supportano la valutazione continua.

Scenario di utilizzo

Le modalità odierne di creazione degli agenti

Automazione dei processi aziendali basata sull'IA

Un cliente ha sviluppato un assistente all'approvvigionamento in grado di esplorare le API ERP (Enterprise Resource Planning) tramite MCP, interpretare i documenti delle policy e consigliare le approvazioni dei fornitori. Questo agente ha automatizzato i passaggi di routine come la verifica dell'idoneità dei fornitori e la revisione dei termini contrattuali, riducendo gli ostacoli nei flussi di lavoro di approvvigionamento e mantenendo la conformità. Funge da modello per incorporare i flussi di lavoro degli agenti nei sistemi aziendali esistenti senza la necessità di ridefinire la logica di base.

I moderni sistemi di agenti si basano sull'utilizzo di strumenti per estendere le funzionalità degli LLM. Se gli LLM eseguono ragionamenti, gli agenti hanno bisogno di strumenti per intervenire, accedere ai sistemi aziendali e raccogliere informazioni in tempo reale. MCP è l'anello mancante tra gli agenti e gli strumenti esterni. Sebbene MCP sia stato introdotto solo di recente, è stato rapidamente adottato come nuovo standard per l'agentic AI.

Prima di MCP, l'integrazione degli strumenti era manuale, incoerente e difficile da rendere scalabile. Gli sviluppatori dovevano scrivere codice personalizzato per definire le modalità di rilevamento e interazione degli agenti con le API. Ciò creava duplicazioni tra i team, rendeva gli aggiornamenti meno stabili e introduceva rischi ogni volta che un sistema veniva modificato. MCP standardizza questo processo con una specifica modulare e interoperabile che consente agli agenti di rilevare, selezionare e richiamare gli strumenti in modo affidabile, proprio come uno standard USB-C per i flussi di lavoro di IA.

Con MCP, gli sviluppatori espongono le funzionalità come strumenti utilizzando un protocollo comune. Tali strumenti possono includere API, database, sistemi aziendali e persino utilità interne. I server MCP fungono da hub in cui gli strumenti sono ospitati, documentati e protetti. Gli agenti possono quindi interrogare in modo dinamico il server, valutare l'utilizzo degli strumenti e richiamare i flussi di lavoro su più sistemi.

Questa standardizzazione apre le porte a una partecipazione più ampia. Con un'architettura basata su MCP, i team possono riutilizzare le definizioni degli strumenti esistenti, accelerare l'onboarding e ridurre la frammentazione della piattaforma. Per gli LLM più piccoli o più grandi, MCP aiuta anche le organizzazioni a utilizzare gli strumenti in modo più coerente senza riaddestrare i modelli o riscrivere la logica.

Tuttavia, MCP non è privo di sfide. Le descrizioni degli strumenti scritte in modo errato possono confondere gli agenti, causando errori di attivazione o allucinazioni. Peggio ancora, gli strumenti che espongono stringhe di prompt non sicure o autorizzazioni troppo ampie rischiano di diventare vettori di sfruttamento.

Red Hat ha adottato un gateway MCP che aiuta a mitigare questi rischi integrando governance, sicurezza e osservabilità direttamente nell'architettura del server MCP. Quando i server MCP vengono distribuiti all'interno di OpenShift AI, ereditano l'integrazione nativa con l'applicazione delle policy a livello di piattaforma, i controlli degli accessi basati sui ruoli e i meccanismi di audit di Red Hat. Ciò significa che l'accesso agli strumenti esposti tramite MCP può essere gestito rigorosamente in base al ruolo e allo spazio dei nomi, in linea con i criteri di identità e autorizzazione.

Inoltre, le descrizioni degli strumenti e gli schemi dei prompt ospitati all'interno di MCP possono essere scansionati automaticamente alla ricerca di vulnerabilità utilizzando la toolchain per la sicurezza dei container e delle applicazioni di Red Hat OpenShift. Ciò consente ai team della piattaforma di identificare le configurazioni degli strumenti potenzialmente pericolose, come gli strumenti che consentono la prompt injection o che espongono sistemi backend sensibili senza un'adeguata convalida dell'input.

Dal punto di vista operativo, gli strumenti di osservabilità di Red Hat OpenShift consentono il monitoraggio continuo delle interazioni agente-strumento. I team possono visualizzare i modelli di chiamata degli strumenti, tenere traccia delle metriche di utilizzo e impostare avvisi per comportamenti anomali. I log di audit integrati forniscono tracciabilità dell'utilizzo degli strumenti e delle catene decisionali, aiutando le aziende a soddisfare i requisiti di conformità interni ed esterni.

Scenario di utilizzo

Le modalità odierne di creazione degli agenti 

Supporto clienti scalabile

Un'azienda di sicurezza informatica ha implementato un sistema di supporto basato sull'IA per automatizzare la chat dal vivo e la risoluzione dei ticket, con l'obiettivo di ridurre i tempi di attesa e il carico di lavoro degli operatori umani. Un agente di accettazione elabora la query, che poi invia a un agente di classificazione che esegue il tagging del sentiment, l'analisi dell'urgenza e la verifica di contenuti inappropriati utilizzando elenchi di parole chiave e analisi del sentiment di IA generativa. Un linguaggio problematico attiva una revisione manuale. 

Successivamente, un agente di risoluzione genera le risposte utilizzando la retrieval augmented generation (RAG), attingendo a documenti interni e ticket precedenti. Se necessario, un agente di routing inoltra i ticket non risolti o con scarsa affidabilità a un operatore del supporto umano. Gli operatori umani convalidano le risposte suggerite dall'IA, in particolare per i contenuti sensibili alla conformità. I registri di Airtable tengono traccia delle sostituzioni e degli errori, favorendo il miglioramento continuo dei modelli. Dopo la chiusura, il sentiment viene valutato nuovamente per verificare la soddisfazione del cliente.

Llama Stack è il piano di controllo dell'IA unificato di Red Hat, un server API compatibile con OpenAI progettato per semplificare lo sviluppo, il deployment e la gestione delle applicazioni di agentic AI. Fungendo da interfaccia centrale per l'inferenza, la memoria, l'orchestrazione degli strumenti e la valutazione, Llama Stack offre agli sviluppatori la coerenza e la flessibilità necessarie per creare agenti sofisticati in tutti gli ambienti.

A differenza di molte altre soluzioni, che sono in genere servizi in hosting, Llama Stack aiuta le organizzazioni a ottenere un'esperienza simile all'hosting sull'hardware o sui cluster proprietari. Per le organizzazioni che necessitano della sovranità dei dati, hanno requisiti specifici per l'infrastruttura o vogliono evitare di essere vincolate a un fornitore specifico, questa flessibilità è essenziale.

Fondamentalmente, Llama Stack offre un livello API standard che supporta l'intero ciclo di vita degli agenti, inclusa la compatibilità con le API OpenAI, oltre alla semplice inferenza. Si integra direttamente con OpenShift AI e supporta le attività comuni degli agenti, come la retrieval augmented generation (RAG), la sicurezza, la valutazione, la telemetria e l'inferenza sensibile al contesto. Gli sviluppatori possono iniziare con un deployment locale semplificato e passare a un'infrastruttura di livello enterprise, utilizzando le stesse API, librerie e interfacce.

Llama Stack è compatibile con le API con le interfacce di utilizzo degli strumenti di OpenAI e funziona con molti framework noti e diffusi. In questo modo i team possono integrare gli agenti e i flussi di lavoro esistenti senza dover riformulare l'architettura, usufruendo al contempo di un'interfaccia coerente e di strumenti di gestione del ciclo di vita in tutti gli ambienti.

Ciò che distingue Llama Stack è il server e il livello delle API open source che standardizzano lo sviluppo di applicazioni di IA tra i provider. Supporta l'inferenza compatibile con OpenAI insieme ad API aggiuntive per altre funzioni di IA, come valutazioni, post-addestramento e archivi vettoriali, e protegge i flussi di lavoro RAG e agentic. Llama Stack può essere eseguito in ambienti self-hosted, on premise o nel cloud, offrendo alle organizzazioni flessibilità di deployment.

All'interno di OpenShift AI, un operatore Kubernetes gestisce le attività del ciclo di vita di Llama Stack come la scalabilità automatica, l'osservabilità e il controllo degli accessi, offrendo agli sviluppatori e ai team della piattaforma un set unificato di strumenti per la scalabilità affidabile degli agenti. Llama Stack include anche il supporto nativo per la valutazione e la telemetria, incluso OpenTelemetry, per aiutare i team a convalidare le prestazioni dei sistemi di IA, monitorare le metriche di sicurezza e tenere traccia del comportamento degli agenti negli ambienti di produzione.

Oltre alla semplice inferenza, Llama Stack è progettato per supportare le numerose parti mobili dei sistemi di agenti. Può fungere da ponte tra i modelli in hosting e quelli locali, standardizzare l'accesso a strumenti di sicurezza come TrustyAI e facilitare l'interazione con i server MCP. Gli sviluppatori hanno a disposizione una piattaforma coerente per testare, iterare e rendere operativi gli agenti, che si tratti sia di demo proof of concept, sia di automazione dei flussi di lavoro IT di produzione.

Scenario di utilizzo

Le modalità odierne di creazione degli agenti 

Sviluppo più efficiente

Un'azienda software ha creato un assistente per la migrazione del codice che ha analizzato le applicazioni Java tradizionali e ha consigliato gli aggiornamenti per allinearle ai framework moderni. L'agente ha utilizzato Llama Stack per l'inferenza e gli strumenti integrati MCP per convalidare la compatibilità e suggerire modalità di upgrade. Ciò ha semplificato il processo di migrazione, riducendo il debito tecnico e migliorando la resilienza delle applicazioni. Inoltre, ha permesso ai team di sviluppo di concentrarsi sull'innovazione delle funzionalità, anziché dedicare tempo alla riscrittura del codice esistente.

L'agentic AI promette applicazioni più intelligenti e adattive, ma senza standardizzazione i team aziendali rischiano la frammentazione, l'inefficienza e problemi operativi. Red Hat AI fornisce lo scaffolding necessario per realizzare questi sistemi in tutta sicurezza. Grazie a componenti come OpenShift AI, MCP e Llama Stack, Red Hat offre una base coerente per portare gli agenti IA dal proof of concept alla produzione.

Integrando ragionamento, utilizzo degli strumenti, memoria, sicurezza e valutazione in una piattaforma unificata, Red Hat AI semplifica il modo in cui i team sperimentano, ridimensionano e rendono operativi gli agenti IA.

• Gli sviluppatori possono accedere alle API per ambienti di produzione.
• I team della piattaforma possono gestire i cicli di vita e applicare la sicurezza.
• Le organizzazioni traggono vantaggio dagli standard open source che proteggono i loro investimenti.

Che si tratti di eseguire il deployment di un semplice bot interno o di progettare sistemi multiagente, Red Hat AI offre tutto ciò di cui hai bisogno per creare applicazioni agentic incentrate sulla sicurezza e di livello enterprise, in modo ripetibile e alle tue condizioni.