KI-Schnellstart: Inferenz mit F5 Distributed Cloud und Red Hat AI schützen

Anfang dieses Jahres haben wir den KI-Schnellstartkatalog von Red Hat eingeführt. Diese Sammlung einsatzbereiter Blueprints hilft Unternehmen dabei, den Fokus von Diskussionen über KI auf die Nutzung von Large Language Models (LLMs) zur Lösung realer Probleme zu verlagern. Damit erhalten Systemintegratoren und -architekten beispielhafte KI-Lösungen, die das Engineering-Team von Red Hat für eine einfache Bereitstellung getestet und optimiert hat.

Sobald Sie jedoch erfolgreich eine interaktive Lösung auf Red Hat AI eingeführt haben, lautet die nächste Frage in der Regel: „Wie schütze ich diese in der Praxis?“

Um diese Frage zu beantworten, haben wir den KI-Schnellstartkatalog von Red Hat um einen der ersten von Partnern geleiteten Einträge erweitert: KI-Schnellstart zu F5 Distributed Cloud API Security.

Schutz Ihrer KI-Endpunkte

Die meisten Unternehmen haben keine Probleme, einen einfachen Chat-Assistenten oder eine RAG-Demo (Retrieval-Augmented Generation) einzurichten. Die Schwierigkeiten beginnen, wenn sie erkennen, dass ein Inferenzendpunkt im Kern eine API ist. APIs sind das Hauptziel für moderne Exploits.

Für diejenigen unter uns, die Kunden bei der Konzeption dieser Systeme unterstützen, sind es oft Sicherheitsbedenken, die verhindern, dass vielversprechende Pilotprojekte den Weg in die Produktion finden. Dieser neue, von F5 und Red Hat gemeinsam entwickelte KI-Quickstart hilft Ihnen, diese Hürde zu überwinden. Er zeigt, wie Sie einen unternehmensgerechten Schutz anwenden, bevor Nutzende mit Ihren KI-Modellen interagieren.

KI-Schnellstart: F5 Distributed Cloud API Security

Der KI-Schnellstart zu F5 Distributed Cloud API Security ist ein modularer Blueprint, der F5 Distributed Cloud (XC) Services in die Plattform von Red Hat AI integriert. Er ist auf ein Deployment in weniger als 90 Minuten ausgelegt und bietet Ihnen eine voll funktionsfähige, geschützte Umgebung, mit der Sie Folgendes demonstrieren können:

• Schemavalidierung: Damit Ihre LlamaStack- oder vLLM-Endpunkte nur korrekt formatierte, autorisierte Anfragen verarbeiten
• Leitplanken für vertrauliche Daten: Automatisches Erkennen und Schwärzen von personenbezogenen Daten oder geschützten Daten, bevor diese Ihre Umgebung verlassen
• Ressourcenschutz: Implementierung von Rate Limiting und Bot-Abwehr, damit Ihre GPU-Rechenleistung von legitimen Nutzern und nicht von böswilligen Scrapern genutzt wird
• Hybrid-Flexibilität: Die Architektur bleibt konsistent, unabhängig davon, ob Ihr Modell On-Premise oder in einer Public Cloud ausgeführt wird

Gemeinsam aufbauen

Indem wir die jahrzehntelange Sicherheitsexpertise von F5 in einen KI-Schnellstart integrieren, demonstrieren wir eine wiederverwendbare Methode zur Lösung vieler dieser „Day 2“-Probleme.

Das Ziel besteht nicht nur darin, die Lösung oberflächlich zu prüfen. Wir stellen ein vorhersehbares, wiederverwendbares Framework bereit. Wenn Kunden fragen, wie Sie deren Daten schützen, verfügen Sie so über eine funktionierende, nachweisbare Antwort.

Erste Schritte

Sie können das Repository von GitHub klonen und es noch heute auf Ihrem Cluster testen: Entdecken Sie den F5 API Security-Schnellstart.