-
Produkte und Dokumentation Red Hat AI
Eine Plattform mit Produkten und Services für die Entwicklung und Bereitstellung von KI in der Hybrid Cloud.
Red Hat AI Enterprise
Erstellen, entwickeln und stellen Sie KI-gestützte Anwendungen in der Hybrid Cloud bereit.
Red Hat AI Inference Server
Optimieren Sie die Modell-Performance mit vLLM für schnelle und kosteneffiziente Inferenz in großem Umfang.
Red Hat Enterprise Linux AI
Entwickeln, testen und führen Sie generative KI-Modelle mit optimierten Inferenzfunktionen aus.
Red Hat OpenShift AI
Entwickeln und implementieren Sie KI-gestützte Anwendungen und Modelle in großem Umfang in Hybrid-Umgebungen.
-
Lernen Grundlagen
-
KI-Partner
Validierte Modelle von Red Hat AI
Validierte Modelle von Red Hat® AI bieten Vertrauen, Vorhersagbarkeit und Flexibilität beim Einsatz von generativen KI-Modellen von Drittanbietern auf der Red Hat AI Plattform.
Was ist das Besondere an diesen validierten Modellen?
Die zahlreichen Large Language Models (LLMs), Einstellungen für Inferenzserver und Optionen für Hardwarebeschleuniger machen es schwierig, die richtige Kombination im Hinblick auf Performance, Genauigkeit und Kosten für Ihren Use Case zu finden.
Mit den neuesten Updates in Red Hat AI 3.3 erleichtert unsere Reihe validierter Modelle Ihnen die Wahl. Unser Repository an Drittanbietermodellen ist für eine effiziente Ausführung auf der Red Hat AI Plattform validiert und enthält jetzt neue leistungsstarke Modelle.
Neue Modelle wie IBM Granite 4 und Apertus 8B legen Wert auf Transparenz und Auditierbarkeit. Mistral Large 3 hilft denjenigen, die Datensouveränität in Europa benötigen. Und die Nemotron Modellfamilie von NVIDIA sichert Kunden, die eine NVIDIA Infrastruktur bevorzugen, eine erstklassige Performance.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Features und Vorteile
Mehr Flexibilität
Greifen Sie auf die von Hugging Face gehostete Sammlung validierter und optimierter Modelle zu, die zur Inferenz bereitstehen. So reduzieren Sie die Zeit bis zur Wertschöpfung, fördern die Konsistenz und erhöhen die Zuverlässigkeit Ihrer KI-Anwendungen.
Optimierte Inferenz
Optimieren Sie Ihre KI-Infrastruktur, indem Sie das richtige Modell, geeignete Einstellungen für die Bereitstellung und Hardwarebeschleuniger auswählen, um ein kostengünstiges, effizientes und auf die Use Cases in Ihrem Unternehmen abgestimmtes Deployment zu gewährleisten.
Mehr Vertrauen
Greifen Sie auf branchenübliche Benchmarks, Genauigkeitsbewertungen und Tools zur Modelloptimierung zu, um die Modelle von Drittanbietern in verschiedenen Einsatzszenarien zu bewerten, zu komprimieren und zu validieren.
Profitieren Sie mehr von Ihren Modellen
Die Validierung von Modellen unter Red Hat AI erfolgt mit OpenSource Tools wie GuideLLM, Language Model Evaluation Harness und vLLM, um die Reproduzierbarkeit für Kunden zu gewährleisten.
Validierte Modelle
Dies sind nicht nur irgendwelche LLMs. Wir haben die Modelle von Drittanbietern anhand realistischer Szenarien getestet, um genau zu verstehen, wie sie sich in der Praxis verhalten werden. Wir verwenden spezielle Tools, um die Performance von LLMs auf verschiedener Hardware zu bewerten.
- GuideLLM testet die Performance und Kosten verschiedener Hardware-Konfigurationen.
- LM Evaluation Harness testet die Modellgeneralisierung bei verschiedenen Aufgaben.
Optimierte Modelle
Komprimiert für Geschwindigkeit und Effizienz. Diese LLMs sind so konzipiert, dass sie schneller arbeiten und weniger Ressourcen verbrauchen, ohne bei der Bereitstellung auf vLLM an Genauigkeit einzubüßen.
- LLM Compressor ist eine Open Source Library, die die neuesten Erkenntnisse auf dem Gebiet der Modellkompression in einem einzigen Tool vereint und eine unkomplizierte Erzeugung komprimierter Modelle mit minimalem Aufwand ermöglicht.
- vLLM ist die führende, speichereffiziente Open Source-Inferenz- und Serving-Engine für optimierte LLMs mit hohem Durchsatz.
Entwickeln Sie die Lösungen, die Sie brauchen, mit Red Hat AI
Red Hat AI ist die Open Source KI-Plattform, die so arbeitet, wie Sie es tun. Reduzieren Sie Kosten mit effizienten Modellen, passen Sie diese mit Ihren Daten und Ihrem Fachwissen an und stellen Sie Workloads in unterschiedlichen Infrastrukturen bereit und verwalten Sie sie. Alles mit Tools, die darauf ausgelegt sind, Ihre Teams bei der Zusammenarbeit und Skalierung zu unterstützen.
Häufig gestellte Fragen
Wo finde ich die validierten Modelle?
Die validierten Modelle sind im Red Hat AI Ecosystem Catalog und im Red Hat AI Repository auf Hugging Face verfügbar. Letzteres enthält vollständige Modelldetails, SafeTensor-Gewichte und Befehle für einen schnellen Einsatz mit Red Hat AI Inference Server, RHEL AI und Red Hat OpenShift AI.
Wie oft werden neue, validierte Modelle hinzugefügt?
Red Hat beabsichtigt, monatlich einen neuen Satz validierter Modelle zu veröffentlichen und damit der Häufigkeit der Upstream-Releases von vLLM zu folgen. Red Hat behält sich das Recht vor, die Validierung von Modellen ohne Angabe von Gründen einzustellen.
Können Sie den Lifecycle validierter Modelle erläutern?
Ausgewählte Modelle werden mindestens für n+2 vLLM-Nebenversionen auf Vertrauensbasis validiert. Für die Modelle, die wir in einer vLLM-Version validieren, beabsichtigen wir, die Vorwärtskompatibilität der Modelle für mindestens die beiden nächsten Versionen von vLLM zu ermöglichen.
Erhalten diese validierten und optimierten Modelle vollständigen Support durch das Red Hat Support Team?
Nein, für Modelle von Drittanbietern gewährt Red Hat keinerlei Support, Entschädigung, Zertifizierung oder Garantie jeglicher Art. Darüber hinaus sind Kapazitätsrichtwerte lediglich Richtwerte, die keine Garantie für die Performance oder Genauigkeit darstellen. Weitere Angaben zur Lizenz für ein bestimmtes Modell erhalten Sie vom Anbieter des Modells.
Wie erhalte ich individuelle Anleitung zur Bereitstellung, Konfiguration und Hardwarebeschleunigung von LLM für Use Cases in meinem Unternehmen?
Richten Sie entsprechende Anfragen bitte an validated-models@redhat.com.
