Sicurezza e protezione dei sistemi di IA

È difficile immaginare un sistema informatico moderno che non sia stato migliorato dalle potenzialità dell'intelligenza artificiale (IA). Ad esempio, quando scatti una foto con la fotocamera dello smartphone, entrano in azione in media più di venti modelli di deep learning (DL), che vanno dal rilevamento degli oggetti alla percezione della profondità, e operano all'unisono per aiutarti a scattare foto perfette.

I processi aziendali, le applicazioni per la produttività e le esperienze degli utenti possono essere migliorati utilizzando una forma di intelligenza artificiale e poche altre tecnologie sono cresciute alla stessa portata, velocità e nelle stesse proporzioni. Come qualsiasi altra tecnologia, tuttavia, l'IA presenta i suoi rischi, che in questo caso riguardano anche sicurezza e obblighi legali. In questo articolo, analizzeremo brevemente alcuni di questi problemi di sicurezza, in particolare quelli legati all'IA generativa (gen AI), e come è possibile sviluppare sistemi di IA più sicuri e affidabili.

Distinguere tra security e safety

Come qualsiasi sistema informatico (hardware o software), i sistemi di IA possono essere utilizzati per scopi dannosi, come jailbreak, prompt injection e addestramento antagonistico. Tuttavia, i sistemi di IA portano un nuovo paradigma nel settore: il concetto di sicurezza dei dati di output. Ciò è dovuto a diversi fattori:

• l'output dell'IA viene spesso generato in base all'addestramento precedente del modello e la qualità dell'output dipende dalla qualità dei dati utilizzati nell'addestramento. I modelli noti utilizzano tutti i dati disponibili, che spesso vengono misurati dal numero di token utilizzati per addestrare il modello. La teoria è che più token vengono utilizzati, più efficace sarà l'addestramento del modello;
• l'output del modello può essere utilizzato per prendere decisioni che hanno un impatto su aziende, utenti e tecniche. Ciò comporta il rischio di perdite finanziarie e potenziali implicazioni legali e per la sicurezza. Su internet è presente codice non sicuro e qualsiasi modello addestrato su di esso corre il rischio di generare, a sua volta, codice non sicuro. Se questo codice venisse utilizzato direttamente in un progetto software, potrebbe generare un tipo completamente nuovo di attacco alla catena di distribuzione.

Sebbene in ambito IA vi sia una relazione tra security e safety, la maggior parte dei framework di sicurezza tende a trattare questi aspetti separatamente. Gli standard di sicurezza per i computer sono un paradigma relativamente nuovo per la maggior parte delle aziende e stiamo ancora cercando di capirli.

Considerazioni da fare sulla sicurezza quando si utilizzano i modelli di IA

In poche parole, i modelli di IA generativa funzionano prevedendo la parola successiva in una frase. Sebbene questi modelli si siano evoluti per essere molto più avanzati, fondamentalmente funzionano ancora secondo questo principio. Ciò significa che ci sono alcuni aspetti interessanti da considerare quando si parla di sicurezza dell'IA.

La qualità dell'input determina la qualità dell'output

"Garbage in, garbage out" è un principio basilare dell'elaborazione che è applicabile anche ai modelli di IA, ma in modo leggermente diverso. Un modello di IA generativa "impara" da un determinato insieme di dati durante la fase di addestramento. In genere, la fase di addestramento è suddivisa in due parti. La prima parte è la fase di pre-addestramento, in cui viene utilizzato un ampio corpus di dati, spesso ottenuti da Internet. La seconda parte è la fase di fine tuning, in cui i dati specifici per lo scopo del modello vengono utilizzati per migliorare il modello in un'attività o in un insieme di attività più mirate. Alcuni modelli possono passare attraverso più di due fasi, a seconda dell'architettura e dello scopo del modello.

Come prevedibile, addestrare un modello sui dati ottenuti in blocco da Internet, senza filtrare i contenuti sensibili, non sicuri e offensivi, può avere risultati imprevisti e negativi.

I modelli hanno allucinazioni

Spesso paragono i modelli di IA ai bambini. Quando i bambini non conoscono la risposta a una domanda, spesso inventano una storia completamente falsa, ma convincente. I modelli sono simili sotto molti aspetti, ma il risultato può essere più pericoloso o dannoso, in particolare quando i modelli generano risposte che possono avere implicazioni finanziarie, sociali o sulla sicurezza.

Test di sicurezza e benchmarking

Sebbene il settore dell'IA sia ancora giovane, ci sono state alcune proposte per il benchmarking degli standard che riteniamo interessanti e a cui vale la pena prestare attenzione:

• il gruppo di lavoro MLCommons AI Safety ha rilasciato il proof-of-concept (POC) MLCommons AI Safety v0.5. Il POC si concentra sulla misurazione della sicurezza dei modelli linguistici di grandi dimensioni (LLM) valutando le risposte dei modelli alle richieste relative a più categorie di rischio;
• il National Institute of Standards and Technology (NIST) del Dipartimento del Commercio degli Stati Uniti ha pubblicato l'Artificial Intelligence Risk Management Framework (AI RMF 1.0). AI RMF spiega come quantificare e rilevare i rischi, oltre a comprenderne le manifestazioni, gli impatti e la gestione;
• Trusty AI è un progetto open source avviato da Red Hat che mira a ridurre i problemi legati al bias dell'algoritmo.

Creare guardrail

Le applicazioni e i modelli guardrail utilizzano diversi metodi per garantire che l'output di un modello sia conforme ai requisiti di sicurezza stabiliti. Esistono vari strumenti e progetti open source che possono aiutare a creare questi guardrail. Tuttavia, un guardrail è un ulteriore componente del software e presenta i propri rischi e limiti. Spetta ai creatori di modelli stabilire meccanismi per misurare e testare la pericolosità dei loro modelli prima di metterli in produzione.

Perché l'open source fa la differenza

Mentre il settore discute gli elementi alla base dei modelli open source per l'IA e quale modello utilizzare, IBM e Red Hat sono all'avanguardia nell'implementazione di standard e dati open source per i modelli di IA che distribuiamo. Queste includono:

• i modelli Granite Foundation di IBM, forniti con Red Hat Enterprise Linux (RHEL) AI, sono pre-addestrati sugli open data. Ciò significa che tutte le sorgenti di dati sono pubblicate e disponibili per l'ispezione. Per filtrare i contenuti potenzialmente sensibili, non sicuri e offensivi, vengono utilizzate anche diverse tecniche di pulizia dei dati per il pre-addestramento, prima che vengano inviati al modello;
• il progetto Red Hat InstructLab aiuta a semplificare il fine tuning dell'addestramento dei modelli. Ciò consente, tra l'altro, di ridurre i potenziali problemi etici e di sicurezza legati all'output del modello. Numerose ricerche recenti supportano questa teoria. Scopri di più in questo articolo sul blog di Google: Protecting users with differentially private synthetic training data.

Red Hat è anche co-fondatore di AI Alliance. Si tratta di una rete collaborativa di aziende, startup, università, istituti di ricerca, organizzazioni governative e fondazioni senza scopo di lucro che sono all'avanguardia nella tecnologia, nelle applicazioni e nella governance dell'IA. Nell'ambito di questa alleanza, stiamo lavorando per promuovere la creazione di un ambiente di IA veramente aperto, più sicuro, non solo per i nostri clienti, ma per l'intera community open source.

Conclusioni

L'intelligenza artificiale è nelle sue prime fasi di sviluppo ed è essenziale pensare agli aspetti di safety e security ora, piuttosto che cercare di implementarli nelle fasi successive. Red Hat ritiene che questa sia un'area dello sviluppo dell'IA in cui approcci e sistemi open source possano fare la differenza.

Scopri di più su RHEL AI