Schnelle, effiziente Inferenz mit Red Hat AI

vLLM ist eine Inferenz-Engine, die darauf ausgelegt ist, den Durchsatz zu maximieren und die Antwortzeiten von Hardwarebeschleunigern zu verkürzen. Es nutzt den PagedAttention-Algorithmus, um die GPU-Auslastung zu optimieren und die Ausgabe von generativen KI-Anwendungen zu beschleunigen. 

Nutzen Sie vLLM, um das Deployment beliebiger gen KI-Modelle auf beliebigen KI-Beschleunigern zu optimieren und gleichzeitig für ein kontrolliertes und vorhersehbares Inferenzverhalten in Produktivumgebungen zu sorgen.

llm-d ist ein Kubernetes-natives Open Source Framework, das die verteilte LLM-Inferenz in großem Umfang beschleunigt. 

Das heißt, wenn ein KI-Modell komplizierte Anfragen mit vielen Daten erhält, bietet llm-d ein Framework, das die Verarbeitung beschleunigt. Dank der zugänglichen, modularen Architektur eignet sich llm-d ideal als Plattform für verteilte LLM-Inferenz in großem Umfang. Dies ermöglicht eine skalierbare Inferenz unter Wahrung von Konsistenz, Kontrolle und Governance in verteilten Workloads.

Nutzen Sie Metriken und Insights aus den Modellen in der Produktion, um herauszufinden, wo und wie Ihre Modelle verbessert werden können. Lassen Sie modellspezifische Performance-Metriken wie Time to First Token, KV-Cache-Hitrate und GPU-Auslastung anzeigen. Nutzen Sie diese Metriken, um die Performance zu überwachen, Anomalien zu erkennen und sicherzustellen, dass die Inferenz den operativen, sicherheitstechnischen und richtlinienbezogenen Anforderungen entspricht. 

Optimieren Sie Ihre Auswahl an benutzerdefinierten oder Basismodellen mit einem vielfältigen Modell-Toolkit. Setzen Sie Techniken wie Quantisierung oder Sparsity ein, um Hardwareanforderungen zu senken und Inferenzkosten zu reduzieren. 

Tools wie LLM Compressor sind im Toolkit enthalten. Es nutzt die aktuellsten Erkenntnisse aus der Forschung zur Modellkomprimierung, um LLMs kleiner, energieeffizienter und schneller zu machen. So lassen sich die Hardwareanforderungen reduzieren und die Effizienz steigern – ohne Verlust an Genauigkeit.

Über seine Kernfunktionen hinaus lässt sich LLM Compressor umfassend in andere Tools und Plattformen integrieren. Es unterstützt Inferenz innerhalb des Hugging Face Transformers-Ökosystems und ermöglicht so eine Genauigkeitsüberprüfung vor dem Deployment. Es lässt sich zudem mit Frameworks zum Fine Tuning verbinden, sodass Nutzende bei überwachtem Training Ressourcen schonen können.

Es trägt dazu bei, all das zu erreichen und gleichzeitig für Validierung, Reproduzierbarkeit und Kontrolle über das Modellverhalten vor dem Deployment zu sorgen.

Mehr über LLM Compressor erfahren

Red Hat AI umfasst die Integration eines gemanagten API-Gateways, mit dem Engineers von KI-Plattformen interne MaaS-Funktionen (Models as a Service) einrichten können. Es bietet eine offene, modulare und anbieterunabhängige Möglichkeit, Modelle in Hybrid Cloud-Umgebungen bereitzustellen und zu betreiben.

Durch kontrollierten Zugang zu Modellen über eine zentralisierte MaaS-Architektur können Sie festlegen, wer auf bestimmte Modelle zugreifen kann, Richtlinien durchsetzen und die Nutzung für viele verschiedene Nutzende, Anwendungen und Agenten überwachen. Dies ermöglicht eine zuverlässige, auditierbare und richtliniengesteuerte Nutzung von Modellen in großem Umfang.

Dank vereinfachter Möglichkeiten zur Nutzung von KI-Modellen und GPU-Ressourcen können Entwicklungsteams den Zugriff auf API-Endpunkte optimieren, während Platform Engineers die Nutzung ihrer leistungsstarken, selbst gehosteten Modelle steuern, verwalten und überwachen können.

In Verbindung mit einem Inferenz-Stack, der den unvorhersehbaren Bedarf und den Umfang von Modellen und Agenten unterstützen kann, bildet eine offene Strategie zur Verwaltung des Modellzugriffs eine solide Grundlage für agentische KI, Fine Tuning und KI in großem Umfang.

Verwenden Sie ein beliebiges gen KI-Modell, oder wählen Sie aus unserer optimierten Sammlung von Open Source-Modellen von Drittanbietern aus, die für eine effiziente Ausführung auf der Red Hat AI Plattform validiert sind.

Die Validierung von Modellen in Red Hat AI erfolgt mit Open Source Tools wie GuideLLM, Language Model Evaluation Harness und vLLM. Dies unterstützt die Reproduzierbarkeit für Kunden und sorgt dafür, dass die Modelle validiert, zuverlässig und in beliebigen Umgebungen konsistent bereitgestellt werden.