Red Hat Summit
Red Hat AI
Entwicklung von KI für Ihre Welt
Nutzen Sie Ihre eigenen Ressourcen und Insights, um Mehrwert durch KI zu schaffen – mit der Freiheit und Flexibilität, die Ihr Unternehmen braucht.
Red Hat® AI unterstützt Sie beim Entwickeln und Ausführen von KI-Lösungen, die sich Ihren geschäftlichen Anforderungen und Abläufen anpassen – von den ersten Experimenten bis in die Produktivumgebung.
Flexible KI für Unternehmen
Konsistenz in der Hybrid Cloud erfordert eine Plattform, mit der Sie dort bereitstellen können, wo sich Ihre Daten befinden.
Mit Red Hat AI erhalten Sie die Kontrolle über generative und prädiktive KI-Funktionen – ob in der Cloud, vor Ort oder am Edge.
Außerdem bleiben Sie mit Red Hat AI auch dann noch flexibel, wenn Sie skalieren.
Red Hat AI bieten Ihnen folgende Vorteile:
- Zugriff auf Granite-Sprach- und Codemodelle mit Open Source Assurance
- Fine Tuning kleiner, speziell entwickelter Modelle mit eigenen Daten
- Optimierung von Inferenzen mit vLLM
Red Hat AI umfasst:
Red Hat Enterprise Linux AI
Red Hat Enterprise Linux® AI kann Kunden unterstützen, die KI gerade erst eingeführt und noch keine Use Cases für ihr Unternehmen definiert haben. Mit der KI-Plattform können Sie generative KI-Basismodelle (gen KI) entwickeln, testen und ausführen.
Features und Vorteile
- Enthält LLMs der Granite-Produktfamilie von IBM
- Lokales Fine Tuning von Modellen mit InstructLab
- Kosteneffizienz für Kunden mit eingeschränktem Zugang zu GPUs
Red Hat OpenShift AI
Red Hat OpenShift AI ist für Kunden konzipiert, die bereit sind, ihre KI-Anwendungen zu skalieren. Diese KI-Plattform bietet Unterstützung bei der Verwaltung des Lifecycles sowohl von prädiktiven als auch von generativen KI-Modellen in Hybrid Cloud-Umgebungen.
Features und Vorteile
- MLOps-Funktionen für Unternehmen
- Enthält IBM Granite-LLMs und InstructLab-Tools
- Entwicklung und Bereitstellung von KI in großem Umfang mit Hardwarebeschleunigern und Hybrid Cloud-Support
Lokale Anpassung von LLMs mit InstructLab
Red Hat InstructLab ist ein communitybasiertes Projekt, das Entwicklungsteams das Experimentieren mit den Granite-Modellen von IBM erleichtert, selbst wenn sie nur über wenig Erfahrung mit Machine Learning verfügen.
Es ist ein idealer Ausgangspunkt, wenn Sie mit dem KI-Modell Ihrer Wahl experimentieren oder Basismodelle auf Ihrer lokalen Hardware per Fine Tuning anpassen möchten.
So werden die Kosten- und Ressourcenbarrieren für das Experimentieren mit KI-Modellen beseitigt, bevor Sie für den Einsatz von KI in Ihrem Unternehmen bereit sind.
This video can't play due to privacy settings
To change your settings, select the "Cookie Preferences" link in the footer and opt in to "Advertising Cookies."
Mehr KI-Partner – mehr Zukunftsmöglichkeiten
Fachleute und Technologien werden zusammengeführt, damit unsere Kunden mit KI mehr erreichen können. Viele verschiedene Technologiepartner arbeiten mit Red Hat zusammen, um ihre Kompatibilität mit unseren Lösungen zu zertifizieren.
Lösungs-Pattern
KI-Anwendungen mit Red Hat und NVIDIA AI Enterprise
Entwickeln einer RAG-Anwendung
Red Hat OpenShift AI ist eine Plattform für das Entwickeln von Data Science-Projekten und Bereitstellen von KI-gestützten Anwendungen. Sie können sämtliche für die Unterstützung von Retrieval-Augmented Generation (RAG), einer Methode zum Abrufen von KI-Antworten aus Ihren eigenen Referenzdokumenten, erforderlichen Tools integrieren. Wenn Sie OpenShift AI mit NVIDIA AI Enterprise kombinieren, können Sie mit Large Language Models (LLMs) experimentieren und so das optimale Modell für Ihre Anwendung finden.
Erstellen einer Pipeline für Dokumente
Damit Sie RAG nutzen können, müssen Sie Ihre Dokumente zunächst in eine Vektordatenbank aufnehmen. In unserer Beispielanwendung integrieren wir eine Anzahl von Produktdokumenten in eine Redis-Datenbank. Da sich diese Dokumente häufig ändern, können wir für diesen Prozess eine Pipeline erstellen, die wir regelmäßig ausführen, damit wir immer die aktuellsten Versionen der Dokumente zur Verfügung haben
Durchsuchen des LLM-Katalogs
Mit NVIDIA AI Enterprise können Sie auf einen Katalog verschiedener LLMs zugreifen. So können Sie verschiedene Möglichkeiten ausprobieren und das Modell auswählen, das die optimalen Ergebnisse erzielt. Die Modelle werden im NVIDIA API-Katalog gehostet. Sobald Sie ein API-Token eingerichtet haben, können Sie ein Modell mit der NVIDIA NIM Model Serving-Plattform direkt über OpenShift AI bereitstellen.
Auswählen des richtigen Modells
Beim Testen verschiedener LLMs können Ihre Nutzerinnen und Nutzer die einzelnen generierten Antworten bewerten. Sie können ein Grafana Monitoring Dashboard einrichten, um die Bewertungen sowie die Latenz- und Antwortzeiten der einzelnen Modelle zu vergleichen. Anhand dieser Daten können Sie dann das optimale LLM für den Produktionseinsatz auswählen.
Red Hat AI in der Praxis
Ortec Finance beschleunigt Wachstum und verkürzt Markteinführungszeiten
Ortec Finance, ein globaler Anbieter von Technologien und Lösungen für das Risiko- und Renditemanagement, stellt ML-Modelle auf Microsoft Azure Red Hat OpenShift bereit und führt Red Hat AI ein.
Phoenix Systems bietet Cloud Computing der nächsten Generation
Erfahren Sie, wie Phoenix Systems mit Red Hat zusammenarbeitet, um Kunden mehr Auswahl, Transparenz und KI-Innovationen zu bieten.
Denizbank unterstützt ihre Data Scientists
DenizBank entwickelt KI-Modelle, um Kredite für Kunden und gleichzeitig möglichen Betrug zu identifizieren. Mit Red Hat AI erreichten die Data Scientists der Bank eine neue Stufe der Autonomie in Bezug auf die unternehmenseigenen Daten.
