AI quickstart: inferenza sicura con F5 Distributed Cloud e Red Hat AI

All'inizio di quest'anno abbiamo lanciato il Red Hat AI quickstart catalog, una raccolta di guide pronte all'uso, progettate per aiutare le organizzazioni ad adottare modelli linguistici di grandi dimensioni (LLM) per risolvere problemi reali. In questo modo, integratori di sistemi e architetti hanno a disposizione soluzioni di IA di esempio che Red Hat Engineering ha testato e ottimizzato per semplificare la distribuzione.

Dopo aver distribuito correttamente una soluzione interattiva su Red Hat AI, la domanda che ci si pone è: "Come posso proteggerla nel mondo reale?"

Per rispondere a questa domanda, abbiamo ampliato il catalogo delle guide rapide all'IA con una delle prime proposte dei nostri partner: F5 Distributed Cloud API Security AI quickstart.

Proteggi i tuoi endpoint di IA

La maggior parte delle organizzazioni non ha problemi ad avviare un assistente chat di base o una demo di retrieval-augmented generation (RAG). La difficoltà si presenta quando ci si rende conto che un endpoint di inferenza è, in sostanza, un'API. Le API rappresentano l'obiettivo principale per i moderni attacchi informatici.

Per chi aiuta i clienti a progettare questi sistemi, i problemi di sicurezza sono spesso ciò che impedisce ai progetti pilota più promettenti di raggiungere la produzione. Questa nuova guida rapida all'IA, sviluppata in collaborazione da F5 e Red Hat, ti aiuta a superare questo ostacolo. Illustra come applicare una protezione di livello enterprise prima che gli utenti inizino a interagire con i modelli di IA.

Cos’è F5 Distributed Cloud API Security AI quickstart?

F5 Distributed Cloud API Security AI quickstart è un blueprint modulare che integra F5 Distributed Cloud (XC) Services con la piattaforma Red Hat AI. È progettato per completare il deployment in meno di 90 minuti e ti offre un ambiente completamente funzionale e protetto per i seguenti obiettivi.

• Convalida dello schema: permette agli endpoint LlamaStack o vLLM di elaborare solo richieste ben formulate e autorizzate.
• Guardrail per i dati sensibili: rileva e oscura automaticamente le informazioni di identificazione personale (personally identifiable information, PII) o i dati proprietari prima che lascino il tuo ambiente.
• Protezione delle risorse: implementa la limitazione della frequenza e la difesa dai bot in modo che gli utenti legittimi utilizzino i cicli della GPU e non scraper dannosi.
• Flessibilità ibrida: l'architettura rimane coerente; il modello può essere eseguito on premise o in un cloud pubblico

Creare collaborando

Mettendo a disposizione l'esperienza decennale di F5 in materia di sicurezza in una guida rapida all'IA, dimostriamo un metodo riutilizzabile per risolvere molte delle sfide legate alle attività di manutenzione.

L'obiettivo non è solo fare una prova, ma fornire un framework prevedibile e riutilizzabile in modo che, quando un cliente chiede come verranno protetti i suoi dati, tu possa fornire una risposta funzionante e dimostrabile.

Inizia subito

Puoi clonare il repository da GitHub e provarlo subito sul tuo cluster. Esplora la guida introduttiva di F5 API Security.