Von Inferenz zu Agenten: KI im Unternehmen skalieren mit Red Hat AI 3.4

Unternehmens-KI wandelt sich derzeit von einfachen Chatbots hin zu agentenbasierter KI. Diese Systeme nutzen unabhängiges Denken und Planen in mehreren Schritten, um komplexe Aufgaben eigenständig zu erledigen. Zum Erstellen dieser KI-gestützten Anwendungen benötigen Entwicklungsteams für KI und Agenten sofortigen Zugriff auf Modelle über zuverlässige API-Endpunkte, die als leistungsstarke Workloads ausgeführt werden. 

Autonome Agenten sind konzeptbedingt ressourcenintensiv. Sie sind rund um die Uhr in großem Umfang in Betrieb und können Dutzende Male auf die Infrastruktur zugreifen, um eine einzelne Aufgabe zu lösen. Dies führt sowohl zu einer kontinuierlichen Belastung als auch zu plötzlichen Spitzen beim Computing-Bedarf. Ohne eine dedizierte Basis verlangsamt sich die Performance und die Kosten steigen. In Kombination mit den Sicherheits- und Governance-Anforderungen sensibler Unternehmensdaten werden diese Belastungen zu ernsthaften Hindernissen für die Produktion.

Red Hat AI unterstützt Sie bei der Bewältigung dieser Herausforderungen mit einer einheitlichen Metal-to-Agent-Plattform, die das Deployment von KI-Lösungen vereinfacht. Mit einem konsistenten Framework für Entwicklung und Operations trägt Red Hat dazu bei, dass Unternehmen von Token-Nutzenden zu Token-Anbietern werden. Diese Verlagerung ermöglicht es Unternehmen, autonome Systeme zu skalieren und gleichzeitig die Hardware-Effizienz und die Kontrolle der Computing-Kosten beizubehalten, die für die Umwandlung von KI-Experimenten in produktionsreife Assets erforderlich sind.

Von statischer Bereitstellung zur präzisen Orchestrierung: Inferenzkosten senken

Die Basis jeder KI-gestützten Anwendung ist die Inferenz-Engine. Für die Entwicklung effektiver Agenten benötigen Entwicklungsteams eine niedrige Latenz und einen hohen Durchsatz, um Chain of Thought-Argumentationen zu unterstützen. Red Hat AI 3.4 führt Tools ein, die diese Performance bieten und gleichzeitig für wirtschaftliche Nachhaltigkeit sorgen.

• Model as a Service (MaaS) für Unternehmen: In dieser neuen Version bietet MaaS den Platform Engineers eine Benutzeroberfläche [allgemeine Verfügbarkeit, GA], die das Self Service-Management von Token-Keys für die rollenbasierte Administration [GA], Nutzungsverfolgung und Showback [technische Vorschau, TP] sowie die Durchsetzung von Sicherheitsstandards bei der Verwendung von selbst gehosteten [GA] und cloudbasierten Modellen [TP] ermöglicht.
• Verteilte Inferenz mit llm-d: Mit diesem Release wird die verteilte Inferenz benutzerfreundlicher und kosteneffizienter in großem Umfang. Nutzende, die Modelle über die Benutzeroberfläche (UI) bereitstellen, können jetzt Gateways entdecken, die in ihrem Namespace verfügbar sind, und eines oder mehrere für ihr Deployment auswählen. Dadurch entfällt die Abhängigkeit von einem einzelnen clusterweiten Standard [TP]. Mit einem integrierten YAML-Editor können Nutzende die zugrunde liegenden Ressourcen untersuchen und bearbeiten [TP]. Mit der Anfragenpriorisierung [TP] kann llm-d zwischen interaktivem und Hintergrunddatenverkehr am selben Endpunkt unterscheiden. Dabei werden latenzempfindliche Anfragen zuerst verarbeitet und Aufgaben mit niedrigerer Priorität bei Sättigung verworfen. Autoscaling [TP] passt Replikate automatisch auf Basis der Anzahl der aktiven Anfragen, der Warteschlangenlänge und der GPU-Auslastung an. OpenAI-kompatible Batch Inference [Entwicklervorschau, DP] fügt einen persistenten „Fire-and-Forget“-Pfad für umfangreiche Workloads wie die Dokumentenklassifizierung oder Protokollanalyse hinzu.
• Spekulatives Decoding für Performance [GA]: Die Red Hat AI Plattform integriert den vLLM-Inferenzserver, der jetzt auch spekulatives Decoding unterstützt. Durch die Verwendung hocheffizienter Entwurfsmodelle zur Beschleunigung der Verarbeitung kann diese Technik die Antwortgeschwindigkeiten ohne Qualitätsverlust um das 2- bis 3-fache erhöhen und die Kosten pro Interaktion direkt senken.
• Hardware-Flexibilität für GPUs, CPUs und NPUs: Red Hat AI 3.4 erweitert die Auswahl an Beschleunigern für die Inferenz in Unternehmen durch neue AMD-Unterstützung für GPUs und CPUs, einschließlich Unterstützung für AMD Instinct MI355X GPUs, Preview-Unterstützung für AMD Instinct MI350P PCIe und allgemein verfügbare vLLM-CPU-Bereitstellung auf AMD EPYC Prozessoren. Das Release umfasst auch die allgemeine Verfügbarkeit der vLLM-CPU-Bereitstellung auf Intel Xeon-Prozessoren und einen zertifizierten Rebellions-Container für ATOM NPU. So erhalten Unternehmen mehr Flexibilität bei der Zuordnung von Workloads zur richtigen Computing-Stufe: GPUs für anspruchsvolle Reasoning-Workloads, CPUs für schlanke und Always-on-Inferenz und NPUs für eine energieeffiziente Bereitstellung mit hohem Durchsatz. Zusammen tragen diese Funktionen dazu bei, die Kosten pro Interaktion zu senken, die Infrastrukturnutzung zu verbessern und ein konsistentes Red Hat AI Erlebnis in heterogenen Accelerator-Umgebungen zu bieten.

Red Hat AI Inference bietet Unternehmenssupport für vLLM sowie Zugriff auf validierte und optimierte Modelle von Red Hat und ergänzt nun verteilte Inferenzfunktionen mit llm-d für Red Hat OpenShift und Kubernetes-Distributionen von Drittanbietern [TP]. Die erste Version umfasst die Verfügbarkeit auf CoreWeave und den gemanagten Kubernetes-Services von Azure. Unternehmen können jetzt denselben Inferenz-Stack in mehreren Umgebungen ausführen, ohne für jeden Anbieter eine neue Architektur entwerfen zu müssen. Das bedeutet, dass KI-Abläufe konsistent bleiben und dieselbe leistungsstarke und offene Basis verwenden, unabhängig vom zugrunde liegenden Hardware- oder Cloud-Anbieter.

Validierung der Modellintegrität durch evaluierungsorientierte Entwicklung

Ein Modell ist nur so effektiv wie die Daten, auf denen es basiert. Red Hat AI 3.4 konzentriert sich auf Evaluation-Driven Development (EDD) und ersetzt subjektive Tests durch konkrete Daten und Benchmarks, um die Produktionsbereitschaft von Modellen und Agenten zu verifizieren.

• Experimentverfolgung mit MLflow [GA]: Die MLflow-Integration dient als Basis für die automatische Protokollierung von Metriken, Parametern und Artefakten, um Reproduzierbarkeit zu ermöglichen und den Vergleich von Ergebnissen bei prädiktiven und generativen Workloads zu erleichtern. Dazu gehört auch das Prompt Management, bei dem Prompts als versionierte, verwaltete Unternehmensressourcen behandelt werden.
• Automatisierte Erlebnisse [TP]: Tools wie AutoRAG und AutoML automatisieren komplexe KI-Aufgaben, um teure Unsicherheiten und manuelles Ausprobieren zu reduzieren. AutoRAG automatisiert die Auswahl von Einbettungsmodellen und Chunking-Strategien für Retrieval-Augmented Generation (RAG), damit Teams viel schneller von Rohdaten zu einer leistungsstarken Pipeline gelangen. Ebenso übernimmt AutoML das Feature Engineering und die Modellauswahl für prädiktive Analysen, sodass Entwicklungsteams sich auf geschäftliche Ergebnisse konzentrieren können, statt auf die Datenvorbereitung.
• Eval Hub [TP]: Red Hat AI 3.4 führt Eval Hub ein, eine Framework-unabhängige, einheitliche KI-Evaluierungs-Control Plane zur Evaluierung von Large Language Models (LLMs), KI-Anwendungen und Agenten. Es ersetzt fragmentierte Testmethoden durch eine einheitliche REST API und einen Kubernetes-Controller und bietet kuratierte sowie benutzerdefinierte Evaluierungssammlungen, ein Dashboard mit eingebettetem MLflow sowie einen Zugriff über Befehlszeilen (CLI) und Software Development Kit (SDK). Durch die Verwendung von OCI-Modellkarten (Open Container Initiative) für die Governance und eines MCP-Servers (Model Context Protocol) für durch Agenten erkennbare Evaluierungen wird eine clusternative Umgebung bereitgestellt, mit der Fachleute reproduzierbares Benchmarking von Laptops bis hin zu Produktions-Pipelines skalieren. 

Risikominderung für das agentenbasierte Unternehmen: Reife und Nachverfolgbarkeit

Autonome Agenten benötigen ein hohes Maß an Transparenz, Nachverfolgbarkeit und kontrolliertem Zugriff auf Tools, damit sie innerhalb der vorgeschriebenen operativen Grenzen bleiben. Red Hat AI stellt das AgentOps-Framework bereit, mit dem Sie die Beobachtbarkeit und den Schutz dieser Systeme gewährleisten.

• Kontrolliertes Prompt Management [TP]: Die MLflow-Integration ermöglicht zudem neue Funktionen für das Prompt Management innerhalb des Playgrounds von Gen AI Studio, einer zentralen Umgebung, in der Entwicklungsteams Prompts prototypisieren, Modelle vergleichen und die Sicherheit prüfen, ohne zwischen Tools zu wechseln. So können Entwicklungsteams Agent-Prompts als verwaltete Assets versionieren, testen und optimieren. Das Management von Prompts als Code hilft Unternehmen, die Wertschöpfung zu beschleunigen und gleichzeitig die Konsistenz zu wahren.
• Identitätsmanagement [DP]: Red Hat AI implementiert SPIFFE/SPIRE für kryptografische Agent-Identitäten und nutzt kurzlebige Tokens, um hartcodierte Schlüssel zu eliminieren. Dies ermöglicht Zero Trust-Sicherheit und erlaubt es Agenten, in Produktionsumgebungen nach dem Least-Privilege-Prinzip zu arbeiten.
• Lifecycle Management mit Kagenti [DP]: Für Unternehmen, die sich weiterentwickelnde agentische Assets verwalten, führt die Plattform Kagenti ein. Dieses Lifecycle Management-Tool ermöglicht es Teams, Agenten bereitzustellen, zu skalieren und zu verwalten, ohne den zugrunde liegenden Code zu ändern. Kagenti ermöglicht die Erkennung und das Onboarding von Agenten über deren gesamten Lifecycle hinweg und unterstützt den Übergang von der Entwicklung zur Produktion.
• Nachverfolgbarkeit von Agenten über MLflow [GA]: MLflow bietet eine End-to-End-Nachverfolgbarkeit von Agenten. Das System verfolgt jeden LLM-Aufruf, jede Tool-Ausführung und jeden Entscheidungsschritt. Dies ist eine grundlegende Voraussetzung für das Debugging, Auditing und die Evaluierung autonomer Systeme.
• MCP-Management für Unternehmen [DP/TP]: Red Hat AI führt einen Plattformansatz zur Verwaltung des MCP-basierten Tool-Zugriffs ein. Der MCP-Katalog [DP] ermöglicht es Teams, vertrauenswürdige MCP-Server von Red Hat und Technologiepartnern zu finden und bereitzustellen. Der MCP Lifecycle Operator [DP] verwaltet diese als Kubernetes-native Workloads. Das MCP Gateway [TP] bietet eine zentralisierte Authentifizierung, Zugriffskontrolle auf Toolebene sowie Beobachtbarkeit, damit Agenten nur auf autorisierte Tools zugreifen können.

Erweiterung der Basis: Sicherheit und Beobachtbarkeit

Damit KI nachhaltig ist, muss sie auf einer stabilen, transparenten Basis laufen. Red Hat AI 3.4 dient als umfassender Operations Hub und integriert MLOps, GenAIOps und AgentOps in einer einzigen Plattform.

• Integriertes Authoring mit Prompt Lab und Registry [GA]: Die Plattform bietet einheitliche Tools zum Erstellen und Verwalten von Prompts. Die Logik für das agentische Verhalten wird in einer zentralen Registry gespeichert, was eine Single Source of Truth für Entwicklungsteams und Administration bietet.
• KI-Sicherheit und Red Teaming [TP]: Red Hat AI 3.4 integriert automatisierte Adversarial-Scans direkt in den Entwicklungs-Lifecycle. Die Plattform nutzt Technologie aus der Übernahme von Chatterbox Labs und verwendet Garak, um Modelle und agentische Systeme auf Risiken wie Jailbreaks, Prompt Injections und Bias zu prüfen. Diese Funktion bietet eine erweiterte Risikoanalyse, um Sicherheitslücken in der Modelllogik bereits in der Entwicklungsphase statt erst zur Runtime zu erkennen. Durch das frühzeitige Identifizieren und Beheben von Schwachstellen können Teams die Integrität ihrer KI-Anwendungen bewerten, um einen sichereren Übergang in die Produktion zu ermöglichen.
• Zentralisierte Metriken und Beobachtbarkeit [TP]: Dieses Release bietet eine konfigurationsfreie, einheitliche Prometheus-Instanz mit nativen Basis-Dashboards. Cluster-Administrationsteams können die Hardwareauslastung und MaaS-Metriken [TP] von einer einzigen Konsole aus überwachen. Zudem können Sie die schrittweisen Ausführungsverfolgungen, Argumentationsketten, Toolaufrufe und LLM-Interaktionen eines Agents direkt in der Konsole [DP] anzeigen. Die Plattform behält die Flexibilität bei, diese Metriken an vorhandene Systeme zur Beobachtbarkeit von Drittanbietern weiterzuleiten.

Red Hat AI auf Cloud Marketplaces

Red Hat AI Enterprise ist bald für die direkte Beschaffung über den AWS Marketplace, Microsoft Azure Marketplace und Google Cloud Marketplace verfügbar. Dies bietet Unternehmen einen schnelleren und flexibleren Weg zur Bereitstellung von KI-Infrastruktur in ihrer bevorzugten Cloud. Unternehmen können nun bestehende Enterprise Discount Programs (EDPs) und zugesagte Cloud-Ausgaben für Red Hat AI Subskriptionen nutzen, was den Finanz- und Beschaffungsprozess vereinfacht.

Diese Verfügbarkeit stellt eine Erweiterung der bestehenden Cloud-Optionen von Red Hat AI dar. Red Hat bietet bereits Red Hat Enterprise Linux AI auf allen 3 wichtigen Marktplätzen für Unternehmen an, die LLMs im Red Hat Enterprise Linux Image-Modus ausführen. 

Red Hat AI Inference on IBM Cloud 

In Kombination mit IBM Cloud kündigen wir zudem die Verfügbarkeit von Red Hat AI Inference on IBM Cloud an – einen vollständig verwalteten Inferenzservice, mit dem Kunden KI-Modelle in Produktionsqualität ausführen. Die Lösung bietet schnellen, kosteneffizienten Zugriff auf Open Source-Basismodelle mit integrierter Governance wie unternehmensgerechten Zugriffskontrollen, Auditing und Nutzungs-Governance. Aktuelle Beispiele im Modellkatalog sind Granite 4.0 H Small (IBM), Mistral-Small-3.2-24B-Instruct, Llama 3.3 70B Instruct und GPT-OSS-120B.

Zusammenfassung

Red Hat AI 3.4 erweitert die Funktionen, die für den Übergang von experimentellen Chatbots zu einem vollständig realisierten agentischen Unternehmen erforderlich sind. Durch die Integration von verteilter Inferenz, automatisierten Daten-Pipelines, Framework-agnostischem AgentOps und proaktiver KI-Sicherheit bietet Red Hat eine umfassende Basis für die Hybrid Cloud. Dieses Release erweitert die Tools zum Aufbau autonomer Systeme, die in beliebigen Umgebungen wirtschaftlich nachhaltig, sicherheitsorientiert und vorhersehbar sind. Als umfassende Plattform für das agentische Zeitalter unterstützt Red Hat AI Unternehmen dabei, Innovationen zu skalieren und gleichzeitig die vollständige Kontrolle über ihre KI-Assets zu behalten.

Erfahren Sie mehr über Red Hat AI und entdecken Sie, wie Sie KI für Ihre Unternehmenswelt entwickeln können. Red Hat AI 3.4 ist voraussichtlich im Laufe dieses Monats verfügbar.