Cos'è AgentOps?

Con AgentOps (Agent Operations) si intende un framework di strumenti volti a monitorare come lavora la "mente" dell'IA e come arriva a prendere certe decisioni in tempo reale. È un approccio che permette di gestire e impostare i parametri dell'IA affinché questa possa operare in autonomia. Aiuta a garantire che ogni agente porti a termine gli incarichi in modo efficace, in sicurezza e senza superare il budget prestabilito. 

Scopri Red Hat AI

Le azioni degli agenti sono di tipo non deterministico, ovvero sono stabilite da una serie di distribuzioni di probabilità casuali. Questo significa che non si possono prevedere con precisione. La mancanza di prevedibilità favorisce la creatività degli agenti, ma in produzione l'autonomia senza un adeguato livello di esplicabilità rappresenta un rischio. AgentOps può offrire un aiuto importante per contenere tale rischio. 

L'Agentic AI è un sistema software progettato per interagire con dati e strumenti in modo tale da ridurre al minimo l'intervento umano. Pensato per realizzare obiettivi specifici, l'Agentic AI è in grado di svolgere attività autonomamente, scomponendole in passaggi più semplici ed eseguendole senza bisogno di input da parte dell'utente.

L'Agentic AI coniuga l'automazione con le capacità creative di un modello linguistico di grandi dimensioni (LLM). Per implementarlo è necessario garantire al modello LLM l'accesso a strumenti esterni e creare gli algoritmi che forniranno agli agenti IA le istruzioni per utilizzare tali strumenti.

Agenti IA e Agentic AI

Agenti IA e Agentic AI sono sinonimi? Sebbene correlati (in grammatica “agente” è un sostantivo e “agentic” un aggettivo qualificativo), i due concetti non sono sinonimi e non sono interscambiabili.

Un agente IA è un'entità software creata per svolgere un compito preciso all'interno di un sistema agentic. Con Agentic AI si indica invece un sistema capace di pianificare, prendere decisioni e agire attivamente per raggiungere un determinato obiettivo; il tutto riducendo al minimo l'intervento umano. Agentic AI si riferisce alle caratteristiche comportamentali di un sistema.

L'approccio AgentOps può offrire vantaggi sia agli agenti IA che all'Agentic AI. 

AgentOps supporta gli agenti IA nei seguenti ambiti:

• Identità e gestione delle versioni: tiene traccia delle differenze di identità e abilità degli agenti.
• Gestione degli strumenti: monitora le autorizzazioni di accesso alle API e ai database accordate a ciascun agente.
• Monitoraggio di risorse e costi: tiene traccia del costo di ciascun agente e lo confronta con agli altri.

AgentOps supporta l'Agentic AI nei seguenti ambiti:

• Tracciabilità: mappa il procedimento mentale in modo che gli utenti umani possano capire perché l'IA ha preso una determinata decisone (ad esempio, perché l'IA ha eseguito il passaggio 3 prima del passaggio 2).
• Tasso di successo: misura le prestazioni dell'intero sistema agentic.
• Rilevamento delle allucinazioni: individua gli errori in tempo reale in modo da evitare perdite di tempo e spreco di risorse.

Sia nel caso degli agenti IA che dei flussi di lavoro agentic, sono gli utenti a stabilire quanta autonomia concedere ai sistemi. Un flusso di lavoro può quindi essere più o meno agentic. A prescindere da ciò, l'adozione di pratiche AgentOps è fondamentale per migliorare l'affidabilità e il monitoraggio. 

I flussi di lavoro agentic permettono di trovare soluzioni creative ai problemi. È però necessario riuscire a gestire tale creatività in modo da non perdere il controllo dei sistemi. Un approccio AgentOps, che consente di osservare, valutare, amministrare e ottimizzare dei sistemi agentic, aiuta proprio a limitare i rischi legati all'Agentic AI.

Osservabilità

Gli agenti simulano il ragionamento umano tramite un ciclo continuo di pensiero-azione-osservazione. La presenza di un errore all'interno del processo mette a rischio l'intera attività. Infatti, se l'agente fa qualcosa di imprevisto, è necessario esaminare tempestivamente la sua logica e trovare l'errore. AgentOps prevede di tenere traccia del ragionamento seguito dall'agente in modo che gli utenti umani possano individuare facilmente la causa principale di una decisione sbagliata. 

Valutazione in tempo reale

Mentre l'agente principale è in azione, tramite processi AgentOps è possibile avviare un agente secondario per supervisionarlo. Se il supervisore nota che l'agente principale ha allucinazioni o si sta allontanando dal suo obiettivo, può mettere in pausa il sistema o segnalarlo a un utente umano. 

Governance

Quando si incaricano gli agenti di svolgere determinati compiti, occorre impostare degli strumenti di protezione in modo da garantire che i sistemi di IA operino entro confini definiti. AgentOps consente di implementare la supervisione umana nel ciclo (HITL) e assicura che gli agenti non possano eseguire azioni ad alto rischio (come eliminare file o spendere denaro) senza avere ricevuto prima l'autorizzazione da parte di un utente umano. 

Ottimizzazione dei costi

AgentOps fornisce le informazioni per dimostrare se gli agenti operano in modo inefficiente. Ad esempio, può individuare i modelli troppo costosi oppure quelli che scelgono soluzioni molto complesse che richiedono troppe risorse. 

Un approccio AgentOps permette di impostare istruzioni di questo genere:

• "Interrompi l'attività se costa più di 5 euro."
• "Interrompi l'attività se richiede più di 20 passaggi."
• "Blocca il comando 'delete'."

AgentOps è un approccio imprescindibile per le aziende che puntano ad adottare l'IA sovrana, ovvero pratiche volte a garantire la proprietà della tecnologia, la conservazione dei dati a livello locale e la conformità dei sistemi di IA ai valori aziendali e ai requisiti normativi.

AgentOps assicura la massima trasparenza dei sistemi e questo è fondamentale da un punto di vista giuridico. In caso di controversie legali sostenere che è stata l'IA ad agire in un certo modo ed è quindi sua la responsabilità di eventuali danni o violazioni è una linea di difesa impraticabile. 

Oggi l'IA non viene più utilizzata solo come strumento per rispondere a richieste, ma viene scelta per la sua capacità di comprendere il contesto. Per questo motivo le organizzazioni devono creare livelli semantici e gateway Model Context Protocol (MCP) che consentano agli agenti IA di muoversi in tutta sicurezza tra i dati aziendali. L'approccio AgentOps permette di:

• Tenere traccia dell'utilizzo di risorse hardware.
• Monitorare il tasso di allucinazioni.
• Assicurare che i dati siano cifrati.
• Fornire un registro verificabile delle azioni compiute dall'agente.
• Interrompere un processo in caso contravvenisse alle policy.

In un sistema di IA sovrana, AgentOps aiuta a tenere traccia delle decisioni, del flusso di dati e dell'interazione tra gli strumenti. In questo modo gli utenti umani potranno avere sempre un quadro chiaro di come funziona il sistema. 

Un agente che opera in maniera completamente autonoma prende decisioni, sceglie gli strumenti da utilizzare e corregge i suoi stessi errori. Per fare ciò deve prendere molte decisioni complesse, il che rischia di trasformarsi in un sistema a scatola nera. 

Una scatola nera, o black box, è un modello di IA estremamente complesso e poco trasparente circa il suo funzionamento. Di fronte a modelli di questo tipo nessuno, nemmeno i data scientist e gli ingegneri che hanno creato l'algoritmo, è in grado di spiegare esattamente in che modo il modello è arrivato a uno specifico risultato. Un modo per porre rimedio al problema dei modelli a scatola nera è l'IA spiegabile. 

L'IA spiegabile è una filosofia e un insieme di pratiche che hanno l'obiettivo di aiutare gli utenti a comprendere i processi decisionali dell'IA. AgentOps è il set di strumenti che rende tutto questo possibile. 

AgentOps fornisce una mappa cronologica di tutti i cicli di ragionamento, tool call e osservazioni effettuati da un agente IA. In questo modo è più facile per gli utenti umani capire perché un agente ha scelto di utilizzare uno strumento piuttosto che un altro. AgentOps offre anche la possibilità di dare il proprio feedback all'agente tramite l'apprendimento per rinforzo, al fine di correggere eventuali errori. 

Ad esempio, AgentOps potrebbe mettere a disposizione un'interfaccia dove gli utenti possano ripercorrere il procedimento mentale che ha portato un agente a eseguire una certa attività. Gli utenti potranno quindi dargli il proprio feedback circa le decisioni prese (es. "Il passaggio 3 è stata una scelta sbagliata. Hai utilizzato un modello troppo costoso."). 

AgentOps è la nuova aggiunta alla famiglia delle metodologie Ops (DevOps, AIOps, MLOps e LLMOps). Definiamo brevemente i componenti di questa famiglia e come interagiscono fra di loro.

• DevOps è la base da cui si sono sviluppate tutte le altre metodologie Ops. Questo approccio mira a incrementare l'affidabilità e la velocità dei processi di sviluppo, test e deployment dei software.
• AIOps (AI for IT Operations) è una metodologia che mira a integrare l'IA nelle pratiche DevOps. Il suo obiettivo è impiegare l'IA per automatizzare le operazioni IT e prevenire i bug. È utile, infatti, per monitorare i server e prevedere eventuali malfunzionamenti.
• MLOps (Machine Learning Operations) è un approccio che mira a semplificare la gestione del ciclo di vita dei modelli di machine learning. L'obiettivo di MLOps è evitare il "drift" dei modelli, ovvero che perdano di accuratezza quando vengono introdotti nuovi dati.
• LLMOps (Large Language Model Operations) è una branca di MLOps dedicata alla gestione dei modelli LLM. L'obiettivo di LLMOps è migliorare la gestione dei prompt, ridurre le allucinazioni e contenere il costo delle chiamate API. 

Scopri di più sulle soluzioni Red Hat per AIOps

Come interagisce AgentOps con il resto delle metodologie Ops? 

Per gestire un prodotto aziendale affidabile con AgentOps, è necessario aver già implementato LLMOps e DevOps, ma anche AIOps e MLOps offrono importanti vantaggi. Infatti, le diverse metodologie operano in sinergia. Vediamo come:

• DevOps: per creare un agente occorre scrivere il codice, che dovrà essere poi elaborato e trasmesso tramite server in maniera affidabile e scalabile. Per questo serve DevOps.
• LLMOps: LLMOps gestisce la logica dei prompt dell'utente e aiuta l'agente a tradurla in un piano d'azione.
• MLOps: MLOps garantisce l'accuratezza dei modelli di machine learning che vengono utilizzati dell'agente. MLOps si occupa di aggiornare automaticamente il modello con i dati attuali e si assicura che l'agente richiami il modello aggiornato e non una versione precedente.
• AIOps: Il malfunzionamento di un server potrebbe generare anche 1000 avvisi diversi. AIOps è in grado di rilevare tutti gli avvisi che si riferiscono al medesimo incidente e inviare all'utente un unico avviso cumulativo per quel singolo evento. Questo permette di limitare la confusione e ottimizzare il processo di risoluzione dei problemi.

Le pratiche AgentOps si devono applicare in tutte le fasi di un flusso di lavoro agentic, dalle basi operative alle misure di sicurezza alla scalabilità avanzata.

Occorre partire da solide basi operative e bisogna quindi assicurarsi che siano presenti i seguenti sistemi:

Protocolli standardizzati

Affinché gli agenti possano interagire all'interno di un ecosistema digitale, è necessario che condividano un linguaggio comune con gli strumenti che utilizzano. MCP permette una connessione bidirezionale e la comunicazione standardizzata tra le applicazioni di IA e i servizi esterni. Senza un protocollo standardizzato come MCP, l'Agentic AI potrebbe pensare e pianificare, ma non sarebbe in grado di interagire con i sistemi esterni. 

Meccanismi per la gestione degli errori

Quando si lavora con flussi di lavoro agentic, è importante tenere conto di instabilità e incapacità. Così come un'autovettura è munita di airbag pronti ad azionarsi in caso di incidente stradale, così anche un sistema deve essere dotato di meccanismi di sicurezza in grado di gestire gli errori quando si presentano. Questi meccanismi vengono anche chiamati funzionalità di riparazione automatica. 

• Logica di retry: può capitare che un elemento del sistema utilizzato dall'agente sia temporaneamente indisponibile, il che causa instabilità. Piuttosto che interrompere l'intero flusso di lavoro, è consigliabile creare una logica di retry, ovvero creare le istruzioni per procedere oltre e autocorreggersi ed evitare così cicli di ragionamento infiniti (e costosi).
• Modello di fallback: si tratta di un modello secondario che può subentrare a quello primario se questo si dimostra incapace di procedere o troppo costoso. Ad esempio, se un agente utilizza OpenAI e questo smette di funzionare, l'agente può passare a un modello locale, come Llama 3. 

Strumenti di protezione

Se i meccanismi per la gestione degli errori sono gli airbag che intervengono in risposta a un incidente, possiamo pensare agli strumenti di protezione come ai freni di un'autovettura, il cui compito è prevenire l'incidente stesso. È possibile impostare delle regole a cui l'agente dovrà attenersi, come la possibilità di eliminare i file solo previa autorizzazione da parte di un utente.

Governance e conformità

Riuscire a tenere traccia di tutto ciò che fa l'agente è un aspetto indispensabile che migliora la governance e la conformità. Questo è particolarmente importante in settori dove è richiesta la massima aderenza a normative sulla privacy, come il Regolamento generale sulla protezione dei dati (GDPR) o l'Health Insurance Portability and Accountability Act (HIPAA).

Ottimizzazione della memoria 

Gli agenti possono "confondersi" se la cronologia delle loro conversazioni è troppo lunga. Questa situazione sovraccarica la loro finestra di contesto e può causare un drift dell'attenzione portando ad allucinazioni e mettendo a rischio la capacità di raggiungere l'obiettivo. È possibile ottimizzare la memoria con vLLM, che utilizza PagedAttention (come tecnica di gestione della memoria) per aiutare i sistemi agentic a gestire cronologie di contesto lunghe in modo efficiente e su larga scala. vLLM è particolarmente utile per i flussi di lavoro agentic, perché garantisce prestazioni elevate anche all'aumentare della complessità.

Scopri di più su vLLM

Framework di collaborazione multiagente

La collaborazione multiagente è la pratica di assegnare ruoli, memorie e strumenti distinti a più LLM indipendenti. In questo modo ciascun agente opererà con una funzione specifica (ricercatore, sviluppatore, ecc.) e tramite la comunicazione costante tra loro gli agenti potranno arrivare all'obiettivo. La collaborazione multiagente mira a superare i limiti del singolo modello, costringendo gli agenti a lavorare insieme e a valutarsi reciprocamente. 

La questione dell'autonomia

L'autonomia può offrire vantaggi notevoli, ma comporta anche il rischio che la situazione degeneri. Trovare il giusto equilibrio fra autonomia e controllo è complicato e richiede tempo perché si arrivi a definire strumenti di protezione adeguati. Per gestire questo aspetto, è necessario implementare la supervisione umana nel ciclo in modo da garantire che gli agenti operino solo entro i limiti approvati.
 

Problemi di conformità ed etici

Gli agenti sono orientati agli obiettivi e in uno "slancio creativo" potrebbero decidere di prendere delle scorciatoie, come offrire uno sconto non autorizzato a un cliente per concludere un affare. Ma un simile comportamento potrebbe violare le leggi sulla concessione equa di prestiti o le politiche interne. Per risolvere il problema, è necessaria l'applicazione di policy a più livelli e di strategie di verifica affinché gli agenti operino sempre in conformità agli standard normativi e aziendali. 
 

Problemi di privacy

Poiché gli agenti possono accedere a numerose sorgenti di dati, esiste il rischio concreto che condividano inavvertitamente informazioni sensibili o private con persone non autorizzate. Per risolvere la situazione, è possibile creare un elenco di azioni proibite. 
 

Costi imprevisti

Gli agenti operano secondo cicli continui di pensiero-azione-osservazione. si può da qui intuire come la situazione, e i costi, possano facilmente sfuggire al controllo. È importante pianificare in anticipo e implementare limiti di spesa e meccanismi di sicurezza per evitare di utilizzare troppe risorse. 
 

Scalabilità

Eseguire un agente su un laptop è ben diverso da eseguirne 1000 per svolgere 1000 flussi di lavoro in contemporanea. Servirsi di strumenti come l'inferenza distribuita, llm-d e vLLM semplifica la gestione dell'enorme volume di memoria e delle risorse di elaborazione necessarie per eseguire gli agenti. 

A titolo esemplificativo, riportiamo di seguito alcuni scenari di utilizzo di AgentOps in contesti aziendali.

Watchdog finanziario

Le aziende possono servirsi di un gruppo di agenti per monitorare, ad esempio, migliaia di transazioni giornaliere e segnalare frodi o violazioni delle policy. Il lavoro degli agenti consisterebbe nell'acquisire dati, confrontarli con le policy interne e segnalare le attività sospette per una verifica umana. 

Assistente autonomo dell'help desk

Le aziende possono affiancare all'help desk agenti autorizzati a testare e correggere il codice in un ambiente sandbox. Quando si riceve un ticket di assistenza, l'agente riproduce il bug in un ambiente sandbox, scrive una possibile soluzione e poi svolge i necessari test. Quando avrà trovato una soluzione adeguata, avvisa l'operatore umano che esaminerà e approverà il lavoro svolto.

Supervisore della catena di distribuzione

Un'azienda può adottare un sistema basato su agenti per monitorare, ad esempio, le condizioni meteorologiche globali, gli scioperi delle navi e la congestione portuale. Il sistema avviserà il team in caso di anomalie meteorologiche, sarà in grado di calcolare il costo di una possibile deviazione e proporrà una modifica. 

Red Hat® AI permette di eseguire l'intero ciclo di vita degli agenti tramite un piano di controllo AgentOps dedicato. Così facendo si ottengono deployment sicuri, osservabili ed efficienti in tutto il cloud ibrido. 

La piattaforma offre governance di livello enterprise grazie all'integrazione di strumenti di protezione. L'infrastruttura alla base sfrutta vLLM e llm‑d per assicurare capacità di inferenza distribuita efficienti e garantire la scalabilità dei flussi di lavoro a elevato utilizzo di risorse in tutto l'ambiente.

Red Hat AI offre capacità di inferenza rapide, flessibili ed efficienti grazie ai suoi server basati su vLLM. Collega in modo affidabile i modelli ai dati per unificare la personalizzazione e lo sviluppo di agenti specializzati su un'unica piattaforma. Basati su una piattaforma open source, i nostri prodotti di IA offrono il pieno controllo e la massima scalabilità dei flussi di lavoro dell'IA.