-
Produkte und Dokumentation Red Hat AI
Eine Plattform mit Produkten und Services für die Entwicklung und Bereitstellung von KI in der Hybrid Cloud.
Red Hat AI Enterprise
Erstellen, entwickeln und stellen Sie KI-gestützte Anwendungen in der Hybrid Cloud bereit.
Red Hat AI Inference Server
Optimieren Sie die Modell-Performance mit vLLM für schnelle und kosteneffiziente Inferenz in großem Umfang.
Red Hat Enterprise Linux AI
Entwickeln, testen und führen Sie generative KI-Modelle mit optimierten Inferenzfunktionen aus.
Red Hat OpenShift AI
Entwickeln und implementieren Sie KI-gestützte Anwendungen und Modelle in großem Umfang in Hybrid-Umgebungen.
-
Lernen Grundlagen
-
KI-Partner
Red Hat AI Inference Server
Red Hat AI Inference Server optimiert Inferenz in der Hybrid Cloud für schnellere, kostengünstigere Modellbereitstellungen.
Was ist ein Inferenzserver?
Ein Inferenzserver ist die Software, die es KI-Anwendungen ermöglicht, mit LLMs (Large Language Models) zu kommunizieren und auf der Grundlage von Daten eine Antwort zu generieren. Dieser Prozess wird als Inferenz bezeichnet. Dies ist der Punkt, an dem das zu liefernde Ergebnis und damit der geschäftliche Mehrwert entstehen.
Für eine effiziente Funktion benötigen LLMs jedoch viel Speicherplatz, Arbeitsspeicher und eine umfassende Infrastruktur, um Inferenzen in großem Umfang zu ermöglichen. Daher kann dies den Großteil Ihres Budgets in Anspruch nehmen.
Uns ist bewusst, dass Hardware und Software, die Ihre Inferenzfunktionen unterstützen, über Erfolg oder Misserfolg Ihrer KI-Strategie entscheiden. Red Hat AI Inference Server optimiert die Inferenz, damit Sie kosteneffizient arbeiten und Ihre Teams skalieren können.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Einführung zu Red Hat AI Inference Server
Wie funktioniert Red Hat AI Inference Server?
Red Hat AI Inference Server ermöglicht schnelle und kostengünstige Inferenzen in großem Umfang. Dank des Open Source-Charakters werden beliebige gen KI-Modelle (generative KI) auf verschiedenen KI-Beschleunigern und in beliebigen Cloud-Umgebungen unterstützt.
Der auf vLLM basierende Inferenzserver maximiert die GPU-Nutzung und ermöglicht schnellere Reaktionszeiten. In Kombination mit LLM Compressor wird die Inferenzeffizienz ohne Einbußen bei der Performance gesteigert. Durch die plattformübergreifende Anpassungsfähigkeit und eine wachsende Mitwirkung der Community entwickeln sich vLLMs zum Linux® im Bereich der gen KI-Inferenz.
50 % Einige Kunden, die LLM Compressor eingesetzt haben, konnten 50 % der Kosten einsparen, ohne Abstriche bei der Performance hinnehmen zu müssen.*
* Zelenović, Saša. „Das volle Potenzial von LLMs ausschöpfen: Optimierte Performance mit vLLM.” Red Hat Blog, 27. Feb. 2025.
Ihre Modelle – Ihre Wahl
Red Hat AI Inference Server unterstützt führende Open Source-Modelle mit flexibler GPU-Portabilität. Sie können sogar Modelle ausführen, die über Text und Code hinausgehen, wie beispielsweise Geo-Modelle, die Ihre physische Umgebung interpretieren können.
Verwenden Sie ein beliebiges gen KI-Modell, oder wählen Sie aus unserer optimierten Sammlung von Open Source-Modellen von Drittanbietern aus, die für eine effiziente Ausführung auf der Red Hat AI Plattform validiert sind.
Die Validierung von Modellen unter Red Hat AI erfolgt mit OpenSource Tools wie GuideLLM, Language Model Evaluation Harness und vLLM, um die Reproduzierbarkeit für Kunden zu gewährleisten.
Red Hat AI Support
Als einer der größten kommerziellen Mitwirkenden an vLLM verfügen wir über ein umfassendes Verständnis dieser Technologie. Unsere KI-Consultants verfügen über die vLLM-Expertise, um Sie beim Erreichen der KI-Ziele in Ihrem Unternehmen unterstützen zu können.
Erwerben
Red Hat AI Inference Server ist als Standalone-Produkt oder als Teil von Red Hat AI verfügbar. Die Software ist in Red Hat Enterprise Linux® AI und in Red Hat OpenShift® AI enthalten.
Deployment mit Partnern
Fachleute und Technologien werden zusammengeführt, damit unsere Kunden mit KI mehr erreichen können. Sehen Sie sich die Partner an, die mit Red Hat zusammenarbeiten, um ihre Kompatibilität mit unseren Lösungen zu zertifizieren.
Weitere KI Success Stories vom Red Hat Summit und AnsibleFest 2025
Turkish Airlines verdoppelte die Geschwindigkeit der Bereitstellung durch unternehmensweiten Zugang zu Daten.
JCCM konnte die Prozesse zur Umweltverträglichkeitsprüfung (UVP) in der Region mithilfe von KI verbessern.
Die Denizbank verkürzte die Markteinführungszeiten von Tagen auf wenige Minuten.
Hitachi hat KI in seinem gesamten Unternehmen mit Red Hat OpenShift AI operationalisiert.
Häufig gestellte Fragen
Muss ich Red Hat Enterprise Linux AI oder Red Hat OpenShift AI erwerben, um Red Hat AI Inference Server verwenden zu können?
Nein. Sie können Red Hat AI Inference Server als ein Standalone-Produkt von Red Hat erwerben.
Muss ich Red Hat AI Inference Server erwerben, um Red Hat Enterprise Linux AI verwenden zu können?
Nein. Red Hat AI Inference Server ist beim Kauf von Red Hat Enterprise Linux AI und Red Hat OpenShift AI enthalten.
Kann Red Hat AI Inference Server unter Red Hat Enterprise Linux oder Red Hat OpenShift ausgeführt werden?
Ja, das ist möglich. Im Rahmen unserer Vereinbarung mit Drittanbietern kann es auch auf Linux-Umgebungen von Drittanbietern ausgeführt werden.
Welche Kosten fallen für Red Hat AI Inference Server an?
Die Kosten werden pro Beschleuniger berechnet.
Individuelle KI-Lösungen für Ihre Anforderungen
Generative KI
Neue Inhalte wie Text und Softwarecode produzieren
Mit Red Hat AI können Sie die generativen KI-Modelle Ihrer Wahl schneller, mit weniger Ressourcen und geringeren Inferenzkosten ausführen.
Prädiktive KI
Muster erkennen und zukünftige Ergebnisse prognostizieren
Mit Red Hat AI können Unternehmen prädiktive Modelle entwickeln, trainieren, bereitstellen und überwachen und dabei die Konsistenz in der Hybrid Cloud wahren.
Operationalisierte KI
Systeme entwickeln, die die Wartung und Bereitstellung von KI in großem Umfang unterstützen
Mit Red Hat AI können Sie den Lifecycle von KI-fähigen Anwendungen managen und überwachen, gleichzeitig Ressourcen einsparen und die Compliance mit Datenschutzbestimmungen sicherstellen.
Agentische KI
Entwickeln Sie Workflows, die komplexe Aufgaben unter eingeschränkter Überwachung ausführen.
Red Hat AI bietet einen flexiblen Ansatz und eine stabile Basis für die Entwicklung, Verwaltung und Bereitstellung agentischer KI-Workflows in vorhandenen Anwendungen.
