Red Hat AI 3 bietet Geschwindigkeit, beschleunigte Bereitstellung und Skalierbarkeit

Im vergangenen Mai haben wir auf dem Red Hat Summit mehrere Ankündigungen zum KI-Portfolio von Red Hat gemacht. Dazu gehörten die Einführung von Red Hat AI Inference Server und von Drittanbietern validierten Modellen für Red Hat AI, die Integration von Llama Stack und Model Context Protocol (MCP) APIs als Entwickler-Vorschau sowie die Einrichtung des llm-d-Community-Projekts. Die neueste Version des Portfolios, Red Hat AI 3, bietet viele dieser produktionsfähigen Funktionen für Unternehmen. Darüber hinaus bieten wir noch mehr Tools und Services, mit denen Teams die Effizienz steigern, effektiver zusammenarbeiten und Anwendungen in verschiedenen Umgebungen bereitstellen können. Sehen wir uns an, was Red Hat AI 3 für Ihr Unternehmen bietet.

1. Mehr Effizienz mit SLA-konformer Inferenz

Die Strategie von Red Hat besteht darin, verschiedenste Modelle für verschiedene Beschleuniger und Umgebungen zu bedienen. Die neuesten Inferenzverbesserungen umfassen Funktionen zur Einhaltung von Service Level Agreements (SLAs) von generativen KI-Anwendungen (gen KI), Unterstützung für zusätzliche Hardwarebeschleuniger und einen erweiterten Katalog validierter und optimierter Drittanbietermodelle. Einige Highlights sind:

• llm-d ist jetzt allgemein in Red Hat OpenShift AI 3.0 verfügbar. llm-d bietet Kubernetes-native verteilte Inferenz, die für die Skalierung und das Management der unvorhersehbaren Natur von Large Language Models (LLMs) unerlässlich ist. Im Gegensatz zum konsistenten Verhalten vieler herkömmlicher Workloads mit horizontaler Skalierung können LLM-Anforderungen, wie Eingabeaufforderungen und Antworten, stark variieren, was eine monolithische Skalierung äußerst ineffizient macht. Durch die intelligente Verteilung des Inferenzprozesses bietet llm-d eine konsistente Ressourcenzuweisung und vorhersehbare Reaktionszeiten, was für die Einhaltung strenger SLAs sowie die Optimierung der Wirtschaftlichkeit und Leistungsfähigkeit von KI-Anwendungen in Unternehmen entscheidend ist.
• Das neueste Release von Red Hat AI Inference Server, Version 3.2, bietet konsistente, schnelle und kostengünstige Inferenz über eine unternehmensfähige Version von vLLM und Zugriff auf die Modelloptimierungsfunktionen von Red Hat AI. Zudem erweitert es die Unterstützung für NVIDIA- und AMD-GPUs jetzt auch auf IBM Spyre. Diese Integration neuer Beschleuniger bietet Kunden die Flexibilität, Optimierung und das Risikomanagement, die sie zur Unterstützung ihrer zukünftigen KI-Strategien benötigen.
• Red Hat AI 3 umfasst eine neue Reihe von Drittanbietern validierten und optimierten Modellen, die Frontier Open Source-Modelle von Anbietern wie OpenAI, Google und NVIDIA beinhalten. Dies vereinfacht die Modellauswahl und hilft Unternehmen, Hardwarekosten zu reduzieren, einen höheren Durchsatz zu erreichen und die Latenz während der Inferenz zu verringern. Diese unternehmensfähigen Modelle sind im Red Hat AI Hugging Face Repository und im Red Hat OpenShift AI Modellkatalog als gescannte und nachverfolgbare Container verfügbar. Die neuen Modelle umfassen Mehrsprachigkeit, Codierung, Zusammenfassung, Chat und mehr.
• Für IT-Organisationen in Unternehmen, die Modellanbieter für ihre Nutzenden werden möchten, bietet OpenShift AI 3.0 Zugriff auf Modelle als Service (MaaS)-Funktionen in Form einer Entwickler-Vorschau. Mit MaaS können Unternehmen eine Kombination aus API-basierten und selbst gemanagten Modellen für Anwendungsfälle nutzen, die in Public Cloud-Umgebungen nicht ausgeführt werden können. Dieses Release umfasst eine MaaS-Control Plane, ein integriertes API-Gateway, Role-based Access Control (RBAC) und Metriken zur Kostenverfolgung, die es Unternehmen ermöglichen, Ressourcen zu zentralisieren, Innovationen zu beschleunigen und die mit privater KI verbundenen Betriebskosten zu senken.

2. Agentische KI-Innovationen beschleunigen

Die Evolution der cloudnativen Entwicklung hat im letzten Jahrzehnt die Anwendungsentwicklung vieler Unternehmen revolutioniert. In ähnlicher Weise hat gen KI die Standards der Softwareentwicklung transformiert. Jetzt wird die dritte KI-Welle eine noch größere Transformation einleiten: die agentische KI.

Mehrere der neuen Funktionen von OpenShift AI 3.0 bilden die Basis für skalierbare agentische KI-Systeme und -Workflows und bieten die Frameworks, Tools und Funktionen, die Sie zur beschleunigten Bereitstellung agentischer KI benötigen. Dazu gehören:

• Modulare und adaptive KI-Plattform mit Llama Stack: Um die Flexibilität zu erhöhen und den Betrieb von KI-Agenten zu vereinfachen, haben wir die Llama Stack API als technische Vorschau in OpenShift AI 3.0 veröffentlicht. Dies bietet einen standardisierten Einstiegspunkt für eine Vielzahl von KI-Funktionen. Dazu gehören Retrieval-Augmented Generation (RAG), Sicherheit, Bewertung, Telemetrie, Inferenz mit vLLM und Tool-Aufruf mit MCP. Dies ermöglicht es Unternehmen, ihre eigenen APIs, externe Anbieter und bevorzugte Agenten-Frameworks zu integrieren. Red Hat AI bietet eine bewährte, umfassende und konsistente Plattform, die die sicherheitsorientierte Bereitstellung, Verwaltung und Ausführung von KI-Agenten in Produktionsumgebungen in großem Umfang erleichtert.
• MCP-Unterstützung: Um das Deployment von agentischen KI-Systemen zu beschleunigen, bietet OpenShift AI 3.0 Unterstützung für den neuen offenen Standard MCP als Entwicklungsvorschau. Der MCP-Server fungiert als standardisierter „Übersetzer“ für eine Vielzahl externer Tools, Datenquellen und Anwendungen. Es ergänzt die Llama Stack-API, indem es die komplexen Integrationen mit externen Anwendungen und Datenquellen verarbeitet und den Llama Stack von der Notwendigkeit einer benutzerdefinierten Integration für jedes externe Tool befreit. Wir haben außerdem eine Sammlung von MCP-Servern zusammengestellt. So können ISVs ihre Tools und Services direkt mit Red Hat AI verbinden.
• Optimierte, dedizierte Umgebungen: OpenShift AI 3.0 bietet dedizierte Umgebungen, wie AI Hub und gen AI Studio, die den unterschiedlichen Anforderungen von Teams von Plattform- und KI-Engineers gerecht werden. Über AI Hub können Teams von Plattform-Engineers grundlegende Assets wie LLMs und MCP-Server erkunden, bereitstellen und verwalten. AI Hub fungiert als zentraler Punkt für das Lifecycle-Management und die Governance von KI-Assets. Gen AI Studio bietet Teams von KI-Engineers eine praxisnahe Umgebung, in der sie eingesetzte KI-Assets entdecken, testen und verwalten können. Teams von KI-Engineers können mit verschiedenen Modellen experimentieren, Hyperparameter optimieren und Prototypen für gen KI-Anwendungen wie Chat und RAG erstellen.

3. Modelle mit Ihren privaten Daten verbinden

Mit Red Hat AI 3 können Teams die Performance und Genauigkeit des Modells verbessern, indem sie mehrere Möglichkeiten zur Anpassung von KI für Ihre Domain bieten. Die Tools in Red Hat AI 3 sind für Mitwirkende unterschiedlicher KI-Kenntnisse zugänglich – von Entwicklungsteams über Data Scientists bis hin zu Teams von KI-Engineers – und tragen so zur Optimierung der Zusammenarbeit und Interoperabilität bei. Zu den neuen Funktionen gehören:

• Ein modularer und erweiterbarer Ansatz: OpenShift AI 3.0 führt ein neues modulares und erweiterbares Toolkit für die Modellanpassung ein, das den Fortschritt von InstructLab bei der Umstellung von einer leistungsstarken End-to-End-Methodik auf einen flexibleren Ansatz verdeutlicht. Das Toolkit umfasst einzelne, spezialisierte Python-Libraries für die Datenaufnahme, synthetische Datengenerierung (SDG), Modelloptimierung und Auswertung. Dadurch erhalten Teams mehr Kontrolle und einen effizienteren Weg zur Modellanpassung. So können Data Scientists, KI-Forschende und KI-Engineers nur die Komponenten auswählen, die sie benötigen, und können so schneller und effizienter arbeiten.
• Verbesserte RAG-Funktionen: Ein neues, erweitertes RAG-Erlebnis ist jetzt in OpenShift AI verfügbar. Dieser optimierte Workflow ermöglicht Entwicklungsteams und Teams von KI-Engineers den einfachen Zugriff auf Datenquellen mit Open Source-Technologien wie Docking und diese mit Modellen, Anwendungen und Agents zu verbinden. Die Plattform unterstützt jetzt die Einbettungs- und Vervollständigungs-APIs von OpenAI neben Llama Stack-Optionen und bietet die Flexibilität, RAG-Lösungen in verschiedenen Umgebungen bereitzustellen und gleichzeitig eine konsistente Funktionalität zu gewährleisten.

4. KI in der Hybrid Cloud skalieren

Produktivität, Konsistenz und ein verbessertes Benutzererlebnis sind der Schlüssel zu einer erfolgreichen KI-Strategie. Unser Ziel bei Red Hat ist es, eine KI-Plattform bereitzustellen, mit der Unternehmen KI-Modelle und agentische Anwendungen in großem Umfang in der Hybrid Cloud konsistent entwickeln, anpassen, bereitstellen und verwalten können. So können wir durch ein einheitliches IT-Erlebnis eine schnellere Wertschöpfung erreichen. OpenShift AI 3.0 bietet Folgendes: 

• Zentralisierte Kontrolle über eine Modell-Registry: Die Modell-Registry bietet eine optimierte Erfahrung für die Verwaltung von KI-Modellen. Dadurch können Teams eine Vielzahl von Ressourcen einfacher erkennen, wiederverwenden und verwalten – von kundeneigenen Modellen und Artefakten bis hin zu beliebten Optionen von Community und Drittanbietern. Diese Funktionen steigern die Produktivität, fördern die Konsistenz und stellen ein zentralisiertes Lifecycle-Management sicher.
• Verbesserte UX für KI-Pipelines: Das verbesserte Benutzererlebnis für KI-Pipelines bietet die Tools, die Data Scientists und Teams von KI-Engineers benötigen, um Modelle schneller zu trainieren und abzustimmen. Workflows werden durch ausführbare Beispiele und wiederverwendbare Komponenten optimiert, und es besteht die Möglichkeit, eigene Argo-Workflows für höchste Flexibilität zu nutzen.
• Verbesserte Beobachtbarkeit: Um Unternehmen eine zentralisierte Perspektive auf KI-Performance sowie verbesserte Kontrolle und Konsistenz zu bieten, enthält OpenShift AI 3.0 grundlegende Plattformmetriken mit OpenTelemetry-Beobachtbarkeitsstandard. Dazu gehören konfigurationsfreie GPU-Überwachung, Referenz-Dashboards für wichtige KI-Metriken wie Time-to-First-Token und Durchsatz sowie die Möglichkeit, APIs für eine reibungslose Integration mit Monitoring-Plattformen zu exportieren.
• Intelligenter GPU as a Service: OpenShift AI 3.0 nutzt erweiterte Funktionen, um die GPU-Nutzung zu verbessern, die Effizienz zu maximieren und eine breite Palette von Workloads zu unterstützen. Mit Accelerator Slicing für sämtliche NVIDIA MIG-fähigen Geräte können Unternehmen GPUs für mehrere Nutzende partitionieren und so sicherstellen, dass keine Ressourcen verschwendet werden. Durch die Nutzung von Kueue unterstützt die Plattform eine größere Vielfalt an KI-Workloads, darunter Ray-Training-Jobs, Trainings-Operator-basierte Jobs und Inferenz-Services für effizientes Planen und Verwalten auf gemeinsam genutzter Hardware.

Ein neuer Ansatz für unternehmensfähige KI

Red Hat AI basiert auf der Überzeugung, dass unternehmensgerechte KI keine Universallösung ist. Es handelt sich um einen strategischen, ganzheitlichen Ansatz, der die Komplexität und Vielfalt realer geschäftlicher Herausforderungen anerkennt. Red Hat bietet eine flexible Plattform, mit der Unternehmen über den Status quo hinausgehen können. Sie bietet die Freiheit, verschiedene Modelle, Hardware- und Deployment-Strategien in der Hybrid Cloud zu wählen. Dieses Engagement für Auswahl, Kontrolle und Effizienz unterscheidet uns von anderen – wir bieten nicht nur KI, sondern eine zuverlässige, umfassende Basis, mit der Unternehmen ihre KI-Investitionen optimal nutzen können.

Um mehr über Red Hat AI 3 zu erfahren und zu entdecken, wie Sie KI für Ihre Unternehmenswelt entwickeln können, sehen Sie sich unsere Live-Session 'What's new and what's next' an und besuchen Sie unsere Website.