Cos'è l'IA spiegabile?

L’IA spiegabile (explainable AI, XAI) si riferisce a un insieme di tecniche, che si applicano durante il ciclo di vita del machine learning (ML), per rendere gli output generati dell'IA più trasparenti e comprensibili per gli esseri umani. L'XAI si propone di rispondere a domande quali:

• Perché il modello si è comportato così?
• Perché non si è comportato in un altro modo?
• Quand'è che il modello ha generato un output adeguato?
• Quand'è che il modello non è stato all'altezza?
• Quand'è che posso fidarmi degli output prodotti dal modello?
• Come posso fare per correggere eventuali errori?

L'IA spiegabile dovrebbe essere in grado di dimostrare le competenze e conoscenze di cui dispone; di giustificare le azioni eseguite, illustrare i processi in corso e i passaggi successivi; e di indicare tutte le informazioni chiave alla base dei suoi processi decisionali. In sostanza, l'IA spiegabile aiuta i sistemi di IA a giustificare e chiarire il loro funzionamento.

Scopri Red Hat AI

Sempre più aziende adottano i sistemi di IA per semplificare i processi decisionali. Ad esempio, in ambito medico l'IA è sfruttata per velocizzare l'analisi delle immagini o la formulazione di diagnosi, mentre in campo finanziario l'IA è utilizzata per accelerare l'approvazione di prestiti e automatizzare gli investimenti.

Poiché impiegata a supporto di processi decisionali critici, che possono ripercuotersi sensibilmente su persone, ambienti e sistemi, la trasparenza e la responsabilità sono aspetti essenziali perché si possa instaurare un rapporto di fiducia fra gli utenti umani e i sistemi di IA. Al contrario, la mancanza di chiarezza può generare confusione ed errori e, in alcuni casi, conseguenze legali.

Dando priorità ad aspetti quali trasparenza ed esplicabilità, è possibile creare un'IA che non sia solo avanzata tecnicamente, ma che sia anche sicura, equa e in linea con i valori e le esigenze dell'uomo. 

Interpretabilità ed esplicabilità

Quando si parla di XAI, i concetti di interpretabilità ed esplicabilità vengono spesso confusi e utilizzati come sinonimi, anche se non lo sono. 

L'interpretabilità si riferisce alla misura in cui un essere umano può comprendere la logica interna di un modello. È una caratteristica propria del modello e si colloca lungo uno spettro. Un modello con elevata interpretabilità presenta caratteristiche intrinsecamente comprensibili, questo significa che anche un utente non esperto riuscirà a capire la relazione fra input e output. Un modello con scarsa interpretabilità ha invece un funzionamento interno troppo complesso perché gli esseri umani possano comprenderlo.

L'esplicabilità si riferisce al processo di spiegazione e giustificazione dei risultati. Si ottiene applicando un insieme di tecniche (le tecniche di XAI) ai modelli complessi in modo da descrivere e suffragare le decisioni prese. Quando la logica di un modello è troppo complessa per essere interpretata direttamente, le tecniche di XAI aiutano gli utenti a comprendere perché il modello si è comportato in un certo modo. 

Se un modello ha elevata interpretabilità e garantisce sufficiente trasparenza, in genere garantire l'esplicabilità esterna non è necessario. Se invece il modello ha scarsa interpretabilità, ovvero presenta una mancanza di trasparenza intrinseca, sarà essenziale garantire l'esplicabilità esterna per migliorare la fiducia degli utenti e l'intelligibilità del modello.

La tecnologia chiave per le applicazioni di IA è il machine learning, ovvero un processo che, tramite l'uso di un algoritmo, permette ai computer di imparare dai dati e creare un modello. Tale processo di apprendimento si svolge in base a una o più tecniche di addestramento specifiche che vengono definite dal data scientist. 

Come addestrare un modello

Per creare un modello di machine learning servono tre componenti: 

1. I dati

I dati possono essere numeri, testo, file audio, file video e/o immagini. Il volume di dati necessario dipende dalla complessità del problema da risolvere, dalla qualità dei dati e dalla complessità dell'algoritmo scelto. 

Ad esempio, se si opta per un algoritmo semplice, come la regressione lineare (con l'obiettivo di trovare una linea retta all'interno dei dati su un grafico a dispersione), potrebbero bastare anche solo poche decine di punti dati. Nel caso di un algoritmo complesso, come le reti neurali, serviranno invece milioni o addirittura miliardi di punti dati. 

2. Un algoritmo

L'algoritmo è l'insieme delle istruzioni che il computer utilizza durante l'apprendimento. Gli algoritmi di ML devono essere ben definiti e avere un punto di arresto chiaro. Il loro obiettivo principale è individuare schemi nei dati in modo che la macchina possa prendere decisioni anche senza programmazione esplicita.

Alcuni algoritmi, come gli alberi decisionali, sono progettati per produrre un output tracciabile e semplice. Gli alberi decisionali non sono altro che diagrammi di flusso: facili da comprendere e correggere, se necessario. 

Esistono però anche algoritmi notevolmente più complessi, come la foresta casuale. In questo caso, si tratta di addestrare centinaia di alberi decisionali, chiedere poi a ciascun albero di "formulare una decisione" e ottenere così l'output finale. Poiché nessun essere umano è in grado di seguire la logica di centinaia di diagrammi di flusso, l'algoritmo risulta praticamente impossibile da comprendere.

3. Una tecnica di addestramento

È compito dei data scientist scegliere una o più tecniche da utilizzare per progettare, implementare e ottimizzare il processo di apprendimento del computer. Esistono diverse metodologie per l'apprendimento, o addestramento, di un modello:

• Apprendimento supervisionato: si fornisce al modello un dataset in cui tutti i dati di input sono etichettati con la risposta corretta. Il modello deve analizzare la relazione tra i dati di input e l'etichetta corretta. Al temine dell'addestramento il modello sarà in grado di elaborare previsioni.
  • Ad esempio, se sottoponiamo al modello 100.000 immagini di cavalli e orsi ed etichettiamo ognuna come "cavallo" o "orso" in base al contenuto, questo apprenderà gli schemi e alla fine messo di fronte a un'immagine nuova sarà in grado di etichettarla correttamente.
• Apprendimento non supervisionato: fornendo un dataset non etichettato, il modello individua autonomamente gli schemi e le associazioni fra i dati. Al termine dell'addestramento il modello sarà in grado di individuare gli schemi esistenti.
  • Ad esempio, se forniamo al modello un dataset sul comportamento dei consumatori, questo potrebbe scoprire che le persone che acquistano cibo per cani hanno il 60% di probabilità di comprare anche scarpe da ginnastica.
• Apprendimento per rinforzo: si assegna al modello un obiettivo e un set di regole, ma non si forniscono dati etichettati. Il modello deve imparare interagendo e viene "premiato" o "penalizzato" per le sue azioni. Al termine dell'addestramento il modello sarà in grado di suggerire quali azioni intraprendere per un dato obiettivo.
  • Ad esempio, un modello può imparare a giocare a scacchi giocando milioni di partite. In queste viene "premiato" per le mosse vincenti e "penalizzato" per quelle perdenti e così "impara" a giocare.

Dati, algoritmo e tecnica di addestramento sono tre aspetti imprescindibili per la creazione di un modello. 

Una considerazione sulle reti neurali

La rete neurale è un altro tipo di algoritmo di ML. Cercando di emulare il funzionamento del cervello umano, prevede il passaggio dei dati attraverso diversi livelli di nodi interconnessi, chiamati neuroni. Durante il passaggio da un livello all’altro, ai dati vengono assegnati diversi "pesi" che determinano in che modo transiteranno al livello successivo (e a quelli dopo) fino all'output finale. 

Le reti neurali hanno un livello di input e un livello di output, ma possono includere anche livelli nascosti. La presenza di livelli nascosti può compromettere la trasparenza del modello, soprattutto se sono molti e di grandi dimensioni. Quando una rete neurale include diversi livelli nascosti prende il nome di rete neurale profonda e la metodologia utilizzata per addestrarla è chiamata deep learning. 

In che modo viene creato un livello nascosto? 

I livelli nascosti non vengono creati dalla macchina in autonomia, ma si formano quando i data scientist chiedono alla macchina di creare le proprie connessioni tra i livelli predefiniti. La logica che ne risulta diventa molto complessa e praticamente impossibile da comprendere per gli esseri umani.

Una scatola nera, o black box, è un modello di IA estremamente complesso e poco trasparente circa il suo funzionamento. Di fronte a modelli di questa tipologia nessuno, nemmeno i data scientist e gli ingegneri che hanno creato l'algoritmo, è in grado di spiegare esattamente in che modo il modello è arrivato a uno specifico risultato.

Ad esempio, GPT4, una delle reti neurali alla base di ChatGPT, esegue più di 3 bilioni di calcoli matematici per generare una singola parola. Se volessimo verificare manualmente il processo ed eseguissimo un calcolo al secondo, impiegheremmo 95 anni per replicare i calcoli necessari a generare una parola. In casi come questo, l'utente umano può sì confermare che l'output sia corretto, ma verificare il lavoro svolto dal modello è impossibile. 

La mancanza di interpretabilità nei modelli a scatola nera può risultare dannosa, soprattutto se gli output di questi modelli sono alla base di processi decisionali critici e in settori ad alto rischio, come sanità, trasporti, sicurezza, esercito, ingegneria aerospaziale, giustizia penale e finanza. 

Nel caso delle scatole nere, l'IA spiegabile aiuta gli utenti umani a comprenderne il funzionamento. 

Tutti i modelli a scatola nera possono risultare dannosi?

La scarsa trasparenza delle scatole nere non significa che siano soluzioni intrinsecamente negative o pericolose. Occorre però tenere conto che l'utilizzo di tali sistemi in determinati settori critici espone le aziende a notevoli rischi. I sistemi di IA a scatola nera possono causare:

Pregiudizi e discriminazione. Se un sistema di IA viene addestrato su dati distorti o di parte, è probabile che riproporrà gli stessi pregiudizi nei suoi processi decisionali. Prendiamo ad esempio uno strumento per la selezione del personale addestrato sui dati delle assunzioni dei dirigenti degli ultimi 20 anni. Se questo gruppo fosse composto principalmente da uomini, si rischia di ottenere un sistema che esclude automaticamente i curriculum con nomi femminili.

Mancanza di responsabilità. Se i sistemi a scatola nera commettono un errore di valutazione, non c'è modo di ripercorrere lo schema logico che ha portato a quella decisione. Da un punto di vista legale, diventa quindi molto complicato assegnare le responsabilità se, ad esempio, un dispositivo medico basato su sistema a scatola nera formulasse una diagnosi errata o un'autovettura autonoma causasse un incidente.

Inoltre, se gli sviluppatori non sono in grado di comprendere il funzionamento interno di un sistema di IA, faticheranno anche ad applicare migliorie e a risolvere eventuali problemi. Senza contare che difficilmente sistemi poco intelligibili conquisteranno la fiducia degli utenti.

Scatola nera e scatola bianca

L'opposto della scatola nera è la scatola bianca, comunemente nota anche come white box o glass box. A differenza delle scatole nere, questi modelli di IA si caratterizzano per la completa trasparenza dei loro meccanismi interni. Questo significa che, nel caso di una scatola bianca, gli utenti umani possono ripercorrere l'intero processo decisionale, dall'input all'output. Ritornando ai concetti di interpretabilità ed esplicabilità accennati in precedenza: una scatola bianca è un modello interpretabile, mentre una scatola nera richiede esplicabilità. 

Se esistono i modelli a scatola bianca, perché un utente dovrebbe preferire un modello a scatola nera? Il motivo principale sta nella differenza di potenza e prestazioni. I modelli a scatola bianca sono più facili da interpretare perché il loro funzionamento interno è meno complesso, ma questo significa anche che sono sistemi in genere più piccoli e con capacità e potenza di calcolo inferiori.  

Quando un modello a scatola bianca non è abbastanza efficiente o preciso per svolgere un determinato compito, i data scientist devono optare per soluzioni a scatola nera. Pensiamo ad esempio all'addestramento di un modello su un argomento complesso e sfaccettato come l'IA generativa. 

L'IA spiegabile aiuta gli utenti a comprendere perché i sistemi di IA generano determinati output. Sapere in che modo funziona un modello di IA offre svariati vantaggi:

Maggiore fiducia. Per la buona riuscita dell'adozione di tecnologie quali l'Agentic AI, gli utenti devono potersi fidare degli algoritmi che utilizzano. L'obiettivo principale dell'IA spiegabile è aiutare gli utenti umani a considerare affidabili i risultati prodotti dalle loro applicazioni di IA. 

Minore rischio. L'IA spiegabile permette agli utenti di valutare con consapevolezza i modelli e scegliere quello che meglio si adatta alle loro esigenze. 

Migliore collaborazione. L'esplicabilità agevola la collaborazione nei team interfunzionali. Pensiamo ad esempio al rapporto tra data scientist e medici quando si implementa un modello di ML in un contesto ospedaliero. Supponiamo che il modello indichi che un paziente è a rischio di sepsi, l'XAI è in grado di individuare quali sono i principali fattori che hanno portato il sistema a generare questa previsione (frequenza cardiaca elevata, bassa pressione sanguigna e bassa saturazione). Grazie all'XAI il medico sarà in grado di comprendere il processo decisionale, convalidare i dati e confermare la validità della diagnosi proposta dal modello. 

Risoluzione dei problemi rapida. Comprendere la logica interna di un modello semplifica e accelera lo sviluppo, il debugging e i processi decisionali dei data scientist. È importante notare però che l'XAI non rende i computer più veloci – anzi, crea un sovraccarico computazionale maggiore – ma fa risparmiare tempo agli esseri umani. 

Conformità normativa. L'IA spiegabile permette alle aziende di rispettare le normative vigenti e le leggi sulla privacy. Tra queste ricordiamo il Regolamento generale sulla protezione dei dati (GDPR) dell'Unione Europea che garantisce agli individui il diritto di conoscere la logica alla base dei processi decisionali automatizzati e "l'importanza e le conseguenze previste di tale trattamento per il soggetto l'interessato". In questo senso l'IA spiegabile è uno strumento utile, perché permette di individuare i punti dati e i fattori che hanno portato il sistema di IA a generare un certo risultato. 

La legge californiana sulla trasparenza dell’intelligenza artificiale di frontiera (TFAIA) richiede agli sviluppatori di pubblicare dei report sulla trasparenza in cui indichino i rischi dei loro modelli e le misure adottate per ridurli. L'XAI aiuta le organizzazioni a identificare più facilmente tali rischi. 

Minore drift dei modelli. Le prestazioni dei modelli possono variare nel tempo e deteriorarsi con l'introduzione di nuovi dati. L'XAI permette di monitorare i modelli e notificare quando questi subiscono variazioni e i loro risultati si discostano dall'output previsto. 

Per stare al passo con la rapida evoluzione dell'intelligenza artificiale, anche il campo dell'IA spiegabile è in continua crescita. Adottare tecniche di XAI è diventato un passaggio imprescindibile, benché le soluzioni non siano ancora perfette. Tra i limiti dell'XAI ricordiamo:

Complessità tecnica dell'output. Al momento le metodologie di XAI sono altamente tecniche e si rivolgono a esperti di ML, non a utenti comuni. Le soluzioni sono due: investire sulla formazione tecnica degli utenti o trovare un modo per rendere gli argomenti comprensibili anche ai meno esperti. 

Costi di elaborazione elevati. L'XAI ha un costo elevato. I suoi algoritmi devono infatti svolgere calcoli approfonditi per comprendere i processi decisionali del modello. Questo significa eseguire il modello anche migliaia di volte solo per capire come è stata effettuata una singola previsione. 

Rischi per la sicurezza. Aprendo una scatola nera per comprenderne i meccanismi si corre il rischio di esporre il sistema ad attacchi hacker. Il processo può infatti creare delle vulnerabilità che gli utenti malintenzionati possono sfruttare per manipolare il sistema e violare la sicurezza tramite reverse engineering. 

Intelligibilità e affidabilità 

Capire come funziona un processo non significa ritenerlo affidabile. Si può comprendere il funzionamento di uno skateboard, ma non ritenerlo sufficientemente affidabile da usarlo. 

L’aspetto legato alla fiducia e all’affidabilità dell’IA solleva una domanda fondamentale: è pericoloso riporre troppa fiducia nell'IA? Un po' di sano scetticismo non fa sicuramente male. Anche perché riporre troppa fiducia in un sistema può esporre a errori imprevisti. Allo stesso tempo però se non si ha sufficiente fiducia nei sistemi, si rischia di farsi sfuggire delle opportunità. 

L'IA spiegabile mira a incrementare la fiducia degli utenti garantendo elevati livelli di esplicabilità. Un volta compresi i meccanismi che regolano il sistema, gli utenti possono decidere autonomamente se ritenere quella soluzione affidabile o meno.

Fulcro dell'XAI è la trasparenza, che deve diventare una priorità nell'intero ciclo di vita del machine learning, dalla progettazione iniziale al monitoraggio. Non esiste un unico modo per spiegare gli output di un algoritmo di ML o di AI. L'approccio dipende da come è progettato il modello e dagli utenti finali. Di seguito alcuni aspetti da tenere in considerazione:

Modelli di XAI globali o locali: Che livello di spiegazione è richiesto?

• Le spiegazioni globali forniscono una comprensione generale sugli schemi utilizzati dal modello per prendere decisioni. Ad esempio, nel caso di un modello che prevede la concessione di prestiti, una spiegazione globale potrebbe essere: "Il modello preferisce accettare candidati con un merito creditizio elevato".
• Le spiegazioni locali descrivono in dettaglio i fattori che hanno influenzato una singola decisione del modello. Ad esempio, una spiegazione locale dello stesso modello per la concessione di prestiti potrebbe essere: "A John Smith è stato negato un prestito il 19 novembre perché il suo merito creditizio era 520 e il suo reddito era inferiore a 35.000 dollari".

Modelli di XAI diretti o a posteriori: il modello è stato progettato per fornire spiegazioni?

• I modelli diretti producono risultati trasparenti e tracciabili fin dall'inizio, parimenti ai modelli a scatola bianca.
• I modelli a posteriori sono invece modelli a scatola nera e quindi non sono stati originariamente progettati per essere interpretabili. È comunque possibile comprendere il loro funzionamento applicando degli algoritmi al termine dell'addestramento, che consentono di analizzare l'output e generare una spiegazione:
  • LIME (Local Interpretable Model-agnostic Explanations) è una tecnica che prevede di manipolare i dati di input per creare una serie di dati artificiali leggermente diversi. LIME introduce tali dati artificiali nel modello e osserva l'output generato. Creando modelli "surrogati" interpretabili permette di spiegare la previsione originale del modello a scatola nera.
  • SHAP (SHapley Additive exPlanations) è un metodo ispirato alla teoria dei giochi cooperativi che calcola il contributo di ciascuna variabile di input e considera tutte le possibili combinazioni di variabili. Fornisce una visione unificata di come ciascuna variabile contribuisce all'output del modello e quali variabili influenzano le previsioni.

Modelli di XAI incentrati sui dati o sul modello: Che tipo di spiegazione è preferibile?

• I modelli di XAI incentrati sui dati forniscono una spiegazione basata su come i dati di input influenzano la previsione.
• I modelli di XAI incentrati sul modello forniscono una spiegazione basata sul funzionamento interno del modello.

Pratiche di IA responsabile, come la definizione di linee guida etiche, la trasparenza e la mitigazione dei pregiudizi, sono essenziali per sviluppare sistemi di IA affidabili che possano offrire un vantaggio concreto alla società. 

Red Hat® AI è una piattaforma progettata per accelerare l'introduzione dell'IA e ridurre i costi operativi associati allo sviluppo e alla distribuzione delle soluzioni di IA nel cloud ibrido. 

Proponendo le ultime tecnologie open source in materia, Red Hat AI aiuta le aziende moderne ad affrontare le sfide poste dall'IA e dalla sua applicazione su larga scala. La soluzione offre supporto e strumenti di esplicabilità, governance dell'IA, affidabilità, protezioni dell'IA, rilevamento di pregiudizi e drift e controllo delle versioni.

Red Hat AI integra strumenti pensati per il monitoraggio e la gestione dell'intero ciclo di vita dei modelli di IA, come ad esempio TrustyAI, un toolkit open source di tecnologie di IA responsabile a cui Red Hat contribuisce.