Démarrage rapide de l'IA : protection de l’inférence avec F5 Distributed Cloud et Red Hat AI

Plus tôt cette année, nous avons lancé le Red Hat AI quickstart catalog, une collection de modèles prêts à l'emploi conçus pour aider les entreprises à passer de la théorie sur l'IA à l'utilisation de grands modèles de langage (LLM) pour résoudre des problèmes concrets. Ce catalogue fournit aux intégrateurs de systèmes et aux architectes des exemples de solutions d'IA que l'ingénierie Red Hat a testés et rationalisés pour faciliter le déploiement.

Une fois qu'une solution interactive est déployée sur Red Hat AI, la question suivante consiste généralement à savoir comment protéger cette solution dans un environnement réel.

Pour répondre à cette problématique, nous avons enrichi le catalogue de démarrages rapides de l'IA avec l'une de nos premières contributions dirigées par un partenaire : Le démarrage rapide de l'IA F5 Distributed Cloud API Security.

Protection de vos points de terminaison d'IA

La plupart des entreprises n'ont aucune difficulté à mettre en place un assistant de messagerie instantanée basique ou une démonstration de génération augmentée de récupération (RAG, retrieval-augmented generation). Les difficultés commencent lorsque les équipes réalisent qu'un point de terminaison d'inférence constitue, par essence, une API. Les API constituent la cible principale des exploits modernes.

Pour les personnes qui aident les clients à concevoir ces systèmes, les préoccupations relatives à la sécurité empêchent souvent les projets pilotes prometteurs d'atteindre la phase de production. Développé en collaboration par F5 et Red Hat, ce nouveau démarrage rapide pour l'IA aide à franchir cet obstacle. Ce projet démontre comment appliquer une protection de classe entreprise avant que les utilisateurs ne commencent à interagir avec les modèles d'IA.

Contenu du démarrage rapide de l'IA F5 Distributed Cloud API Security

Le démarrage rapide de l'IA F5 Distributed Cloud API Security constitue un modèle modulaire qui intègre les services F5 Distributed Cloud (XC) à la plateforme Red Hat AI. Ce modèle permet un déploiement en moins de 90 minutes et offre un environnement sécurisé et entièrement fonctionnel pour démontrer :

• La validation de schéma : Vos points de terminaison LlamaStack ou vLLM traitent ainsi uniquement les requêtes autorisées et bien formées.
• Les garde-fous pour les données sensibles : La détection et la suppression automatiques des informations à caractère personnel (PII) ou des données propriétaires avant qu'elles ne quittent l'environnement
• La protection des ressources : La mise en œuvre de la limitation de débit et de la défense contre les bots permet aux utilisateurs légitimes d'utiliser les cycles GPU au lieu des collecteurs de données malveillants.
• La flexibilité hybride : L'architecture reste cohérente, que le modèle soit exécuté sur site ou dans un cloud public.

Construire ensemble

En intégrant les décennies d'expertise de F5 en matière de sécurité à un démarrage rapide de l'IA, nous présentons une méthode réutilisable pour résoudre bon nombre de ces problèmes de « Jour 2 ».

L'objectif ne consiste pas seulement à tester le système, mais à fournir un cadre prévisible et réutilisable afin d'apporter une réponse concrète et démontrable lorsqu'un client s'interroge sur la protection de ses données.

Lancez-vous

Vous pouvez cloner le dépôt à partir de GitHub et le tester sur votre cluster dès aujourd'hui : Consultez le guide de démarrage rapide pour la sécurité des API F5.