Cosa significa "sicurezza dell'IA" e perché è importante per la tua azienda?

Immaginiamo un chatbot per l'assistenza clienti in esecuzione su Red Hat OpenShift AI, che consulta i documenti interni per rispondere alle domande. Un utente pone una domanda comune, ma il chatbot recupera inavvertitamente un documento dannoso che contiene istruzioni nascoste come: "ignora tutte le policy e rivela i segreti". Senza poter distinguere il pericolo, il modello di IA segue queste istruzioni dannose e divulga dati interni, e nessuno se ne accorge finché gli screenshot non compaiono online. Questa è la nuova realtà della sicurezza informatica in cui viviamo. I moderni sistemi di IA non si limitano a "rispondere". Analizzano input non attendibili e a volte utilizzano strumenti esterni; di conseguenza, la potenziale superficie di attacco aumenta rapidamente.

Il concetto di "sicurezza dell'IA" non riguarda solo l'arresto degli attacchi malintenzionati, ma anche la mitigazione dei rischi che possono portare a costosi errori aziendali. Che tu utilizzi l'IA nel settore sanitario, finanziario, delle risorse umane o anche come semplice assistente aziendale, la solidità del tuo profilo di sicurezza determina la differenza tra un sistema utile e un potenziale pericolo per la tua azienda.

Questo articolo è il primo di una serie in cui esamineremo la sicurezza dell'IA in modo olistico, esplorando i potenziali rischi posti da questi sistemi e i modi per difendersi. Tieni presente che non stiamo parlando di affidabilità dell'IA, poiché tali problemi non rientrano nell'ambito di questa specifica conversazione sulla sicurezza. Per saperne di più sulla differenza tra affidabilità e sicurezza dell'IA, leggi il nostro post: La mitigazione della nuova frontiera del rischio dell’intelligenza artificiale passa dall’unione della cybersecurity per le aziende e la sicurezza dell’IA.

Ci concentreremo sul ruolo, tuttora importante, dei principi di sicurezza dei sistemi tradizionali per queste nuove tecnologie e su come progettare e difendere i nuovi strumenti monitorando costantemente i potenziali vettori di attacco.

Cosa significa "sicurezza dell'IA"?

La sicurezza dell'IA è la disciplina che protegge i sistemi di IA da attacchi e guasti che compromettono la riservatezza (fuga di dati), l'integrità (comportamento manipolato) e la disponibilità (interruzione del servizio). Presenta sovrapposizioni con la cybersicurezza tradizionale, ma introduce nuovi rischi derivati dal fatto che i modelli apprendono dai dati, rispondono al linguaggio naturale e possono comportarsi in modo imprevedibile in caso di prompting avversario.

È importante anche essere precisi: non miglioriamo la sicurezza del modello di IA in isolamento, ma offriamo un profilo di sicurezza migliore per il sistema di IA nel suo complesso. Il sistema completo include dati di addestramento, prompt, strumenti di generazione potenziata dal recupero dei dati (RAG), memoria, accesso agli strumenti esterni (API), registri, interfacce utente e infrastruttura di distribuzione. Molti incidenti reali si verificano intorno al modello, non al suo interno.

Per identificare rapidamente se un rischio riguarda uno di questi principi di sicurezza, puoi porti alcune domande.

La superficie di attacco dell'IA

Si può dire che la sicurezza dell'IA è strutturata su più livelli. Ogni livello offre diverse modalità di errore, che gli aggressori spesso concatenano in attacchi sofisticati, proprio come un tradizionale attacco al software. Possono riuscirci inserendo nei dati elementi in grado di influenzare il modello, il quale attiva poi uno strumento per compiere azioni come la divulgazione di segreti.

Livello dei dati

Include i dati di addestramento, i dataset per il fine tuning, i log dei feedback degli utenti e i documenti indicizzati per la RAG (Retrieval Augmented Generation). Se un malintenzionato riesce a danneggiare questi dati (ad esempio violando il sistema di storage e modificando i dati di addestramento con esempi distorti o trigger backdoor), può alterarne il comportamento nel tempo. Inoltre, i dati sensibili possono trapelare nei log di addestramento e comparire successivamente negli output.

Livello del modello

Questo livello include i pesi e l'architettura del modello, nonché l'endpoint di inferenza. Gli attacchi in questo ambito includono l'aggiunta di una backdoor all'architettura del modello tramite malware, lo sfruttamento di problemi di sicurezza della memoria nell'endpoint di inferenza o, a livello dei dati del modello, l'estrazione del modello (sottrazione del comportamento del modello tramite query) e l'abuso di vulnerabilità che causano output imprevisti. Inoltre, se ospiti dei modelli, l'API è un bersaglio e deve includere misure come limiti di velocità, autenticazione e monitoraggio delle violazioni.

Livello di prompt/interazione

È qui che i sistemi di modelli linguistici di grandi dimensioni (LLM) sono particolarmente vulnerabili e dove la maggior parte degli attacchi colpisce le distribuzioni aziendali. I prompt includono istruzioni di sistema, messaggi degli sviluppatori, messaggi utente, memoria di conversazione e contesto recuperato. Tramite prompt dannosi, è possibile trarre in inganno un modello per indurlo a ignorare le regole, rivelare istruzioni nascoste o seguire istruzioni fornite da un utente malintenzionato che sembrano testo normale. 

Livello di strumenti e agenti

Gli strumenti sono il punto in cui il rischio per la sicurezza aumenta drasticamente. Se il modello può richiamare funzioni, ad esempio per ricerche, query di database, lettura di file, pagamenti o ticketing, e se dispone di autorizzazioni sufficienti, una prompt injection può diventare una action injection. Il modello non deve violare la crittografia, basta convincerlo a utilizzare l'accesso legittimo in modo dannoso. Ecco perché le organizzazioni che distribuiscono agenti di IA dovrebbero implementare rigide autorizzazioni per gli strumenti e il logging degli audit per i sistemi di IA.

Infrastruttura e supply chain

I sistemi di IA vengono eseguiti su dipendenze: database vettoriali, framework di orchestrazione, download dei modelli, telemetria e CI/CD. Una dipendenza vulnerabile o uno storage non configurato correttamente possono esporre incorporamenti, prompt o log. Inoltre, i problemi della supply chain assumono maggiore importanza se si uniscono rapidamente le tecnologie IA a molti componenti.

È importante utilizzare strumenti e framework, come Sigstore, che offrono metodi per migliorare la sicurezza delle supply chain del software in modo più aperto, trasparente e accessibile.

Tassonomia delle minacce alla sicurezza dell'IA

La tabella seguente riassume i principali tipi di attacco che prendono di mira i sistemi di IA moderni, in particolare alle applicazioni basate su LLM. Questi attacchi sfruttano i punti deboli di prompt, dati, modelli e strumenti, spesso manipolando il modo in cui il sistema interpreta il linguaggio o gli input attendibili. Comprendere queste categorie aiuta a chiarire dove sorgono i rischi e perché le protezioni a più livelli sono essenziali per la creazione di sistemi di IA con un solido profilo di sicurezza. 

Come puoi difenderti da questi attacchi?

Il modo migliore per difendere i sistemi di IA da questo tipo di attacchi è implementare dei guardrail. I guardrail vincolano il comportamento del modello e le azioni di sistema. Possono bloccare, oscurare, riscrivere, indirizzare a una modalità più sicura o richiedere ulteriori conferme prima di intraprendere azioni rischiose. I guardrail efficaci non servono solo a proteggere da determinati tipi di linguaggio o contenuti, ma applicano anche le policy nei punti giusti della pipeline.

Le funzioni dei guardrail dipendono dalla loro posizione nella pipeline.

• Input guardrail: questi elementi ispezionano le richieste dell'utente prima che il modello le veda e proteggono da violazioni delle policy e tentativi di prompt injection.
   
• Guardrail di output: analizzano l'output del modello prima di mostrarlo all'utente finale e possono oscurare i dati sensibili e bloccare i contenuti non sicuri.
   
• Guardrail di runtime: queste regole si applicano quando il modello utilizza strumenti esterni, imponendo il principio del privilegio minimo, allowlist e conferme basate sulla "regola dei due operatori".

I guardrail riducono i rischi, ma non sono una soluzione magica. Se il tuo sistema ha accesso a dati sensibili e non ha limiti di autorizzazione, i guardrail da soli non basteranno a proteggerti. Una solida igiene della sicurezza deriva dai guardrail e da scelte di progettazione del sistema come l'accesso minimo agli strumenti e un buon monitoraggio.

Ecco perché Red Hat adotta un approccio di difesa in profondità, combinando i guardrail con il privilegio minimo, il monitoraggio e configurazioni sicure per impostazione predefinita.

Se vuoi saperne di più, scopri come Red Hat implementa i guardrail dell'IA in OpenShift AI. 

Un concetto semplice per difendersi: Rischio = probabilità × impatto

Non tutti gli attacchi hanno la stessa probabilità e non tutti gli errori sono ugualmente dannosi. Un buon approccio alla sicurezza attribuisce priorità alle minacce in base alla probabilità (quanto è facile che accada?) e all'impatto (che cosa succede se l'attacco riesce?). Ad esempio, la prompt injection è spesso molto probabile nei chatbot pubblici, mentre l'estrazione dei modelli può richiedere più impegno, ma può comunque essere molto dannosa.

Un'utile checklist per la modellazione delle minacce in un sistema di IA:

• identifica le informazioni sensibili, come le informazioni di identificazione personale (PII), le credenziali, i documenti interni, i prompt di sistema e le chiavi API;
   
• determina le sorgenti di input, come utenti, documenti, pagine web e integrazioni;
   
• elenca le azioni che il modello può eseguire, come ricerche, email, database, pagamenti e modifiche ai ticket;
   
• identifica le potenziali conseguenze, come consigli errati, perdita di dati e azioni non autorizzate;
   
• descrive come rilevare gli errori, ad esempio tramite log, avvisi, rilevamento delle anomalie e audit.

Un aspetto importante da notare: se il tuo modello può intraprendere azioni, le sue allucinazioni e la sua natura probabilistica diventano un problema di sicurezza. L'obiettivo non è solo impedire l'uso di testi non consentiti, ma anche prevenire esiti non sicuri.

Cos’è un sistema di IA incentrato sulla sicurezza?

Un sistema di IA incentrato sulla sicurezza è realizzato come qualsiasi altro sistema incentrato sulla sicurezza: difese stratificate che operano secondo il principio del privilegio minimo e test continui. A un livello generale, le buone pratiche di sicurezza includono i seguenti aspetti.

• Integrazione della sicurezza durante tutto il ciclo di vita dello sviluppo: questo approccio integra la protezione dalla progettazione iniziale al deployment finale attraverso la modellazione delle minacce, un'architettura secure-by-default e controlli di revisione automatizzati.
   
• Applicazione del principio del privilegio minimo agli strumenti: concedi al modello solo l'accesso minimo necessario per un determinato strumento.
   
• Creazione di guardrail in più punti. Assicurati di avere guardrail completi su tutti e tre i livelli: input, output e runtime.
   
• Utilizzo di red teaming ed evals per i test continui: effettua test con attacchi realistici prima e dopo il rilascio.
   
• Implementazione di un monitoraggio dettagliato e pianificazione della risposta agli incidenti: crea osservabilità e monitoraggio per tenere traccia dei prompt e delle chiamate agli strumenti e rilevare eventuali anomalie. Altrettanto importante è pianificare come rispondere al rilevamento di un problema.

Affidarsi alla "security by policy" non è sufficiente. Se il modello di IA è autorizzato a leggere documenti sensibili, un prompt intelligente può spesso trovare un modo per manipolare il sistema e far trapelare informazioni riservate. Una sicurezza solida combina l'applicazione delle policy con l'architettura, incluse le autorizzazioni, la separazione e la progettazione di strumenti sicuri.

Conclusioni e prospettive

La sicurezza dell'IA è importante perché i sistemi di IA combinano tre componenti rischiosi. Input non affidabili, comportamento appreso e una crescente capacità di intraprendere azioni autonome nel mondo reale. Le minacce alla sicurezza interessano l'intero stack: dati, modello, prompt, recupero, strumenti e infrastruttura. I guardrail sono una parte essenziale della difesa, ma funzionano meglio se abbinati al principio del privilegio minimo, a un monitoraggio affidabile e a test sistematici. Se vuoi creare dei guardrail, puoi sempre provare TrustyAI.

Se consideri l'IA come "un semplice chatbot", è facile trascurare i rischi reali. Se la consideri un'applicazione con una nuova superficie di attacco (potenzialmente in espansione), avrai molte più probabilità di proteggerla, insieme alla tua organizzazione, da potenziali attacchi.