Agentische KI erfordert einen neuen Infrastruktur-Stack: AMD und Red Hat bieten eine Lösung

Agentische KI bringt die KI nicht nur voran, sie stellt auch die für herkömmliche Inferenz entwickelte Infrastruktur auf den Kopf. Agentische KI – also Systeme, die autonom logisch denken, planen, Tools nutzen und mehrstufige Aufgaben ausführen – entwickelt sich rasant von der Forschung hin zur Praxis. 

Bei diesem Wandel geht es nicht nur um mehr Rechenleistung. Er verändert grundlegend, wie Infrastrukturen arbeiten, skalieren und für kontinuierliche, mehrstufige Reasoning-Workflows optimiert werden muss.

Agenten sind jedoch grundlegend andere Workloads: Sie rufen Modelle wiederholt auf, greifen auf verschiedene Tools und Datenquellen zu und müssen kontinuierlich sowie kostengünstig laufen. 

Dies erfordert eine neue Art von Infrastruktur, die leistungsstarke GPUs für komplexes Reasoning, CPUs für Inferenzaufgaben sowie Orchestrierung und intelligentes Scheduling umfasst, um alles miteinander zu verbinden.

Gemeinsam ermöglichen AMD und Red Hat diesen Übergang. Sie stellen eine offene, leistungsstarke Infrastrukturbasis bereit, die Unternehmen dabei unterstützt, agentische KI in großem Umfang zu operationalisieren. 

KI-Inferenz mit hohem Durchsatz mit AMD Instinct MI355X und Red Hat AI 3.4

Agentische Workloads sind von Natur aus inferenzintensiv. Jeder Reasoning-Schritt, jeder Toolaufruf und jede Entscheidung, die ein Agent trifft, ist eine Modellinferenz. Wenn Agenten komplexe Workflows orchestrieren, Dokumente abrufen, Code generieren und Ausgaben validieren, können sie pro Aufgabe Dutzende von Inferenzaufrufen absetzen. Das macht den GPU-Durchsatz und die Speicherkapazität entscheidend.

Red Hat AI 3.4 unterstützt jetzt die Inferenz auf AMD Instinct™ MI355X, der Flaggschiff-GPU von AMD für Rechenzentren, die auf der AMD CDNA™ 4-Architektur basiert. Mit 288 GB HBM3E-Speicher und 8 TB/s Bandbreite kann sie die weltweit größten Open Source-Modelle bedienen – die Frontier-Modelle hinter hochentwickeltem Agent Reasoning. Dies erfordert weniger Beschleuniger und senkt die Gesamtbetriebskosten. Basierend auf der 3-nm-Prozesstechnologie von TSMC bietet sie mit bis zu 5 PF FP16-Performance den nötigen Durchsatz, um agentische Workloads effizient zu skalieren. 

Dank der vollständigen Integration von Red Hat AI mit ROCm 7 können Unternehmen die durch AMD Instinct MI355X beschleunigte Inferenz auf Red Hat OpenShift bereitstellen und den AMD GPU Operator für eine optimierte Day-0-Konfiguration nutzen. Die erweiterte Datentypunterstützung für MXFP6 und MXFP4 ermöglicht eine effizientere Bereitstellung quantisierter Modelle. Dadurch können Teams mehr Agenten pro GPU ausführen, ohne Abstriche bei der Reasoning-Qualität zu machen, die die Agenten erst nützlich macht.

In der Praxis bedeutet dies: Unternehmen können größere Modelle mit weniger Beschleunigern ausführen. Das verringert den Infrastrukturbedarf, senkt den Stromverbrauch und optimiert die Kosten pro Inferenz. Bei agentischer KI, bei der Workflows pro Aufgabe Dutzende von Modellaufrufen generieren können, führt diese Effizienz direkt zu schnelleren Antwortzeiten und niedrigeren Kosten pro Interaktion. 

Mehr Flexibilität für KI-Deployments mit der AMD Instinct MI350P PCIe-Karte (Preview)

Red Hat AI bietet nun Preview-Unterstützung für den Kartenbeschleuniger AMD Instinct MI350P PCIeⓇ und bringt so die AMD CDNA™ 4-Architektur in die standardmäßige Serverinfrastruktur von Rechenzentren. Mit ihrem Dual Slot-PCIe-Formfaktor, einer konfigurierbaren Gesamtleistung (TBP) von 600 W und passiver Luftkühlung integrieren sich diese Karten nahtlos in Rechenzentren von Unternehmen – ohne dass größere Anpassungen an Stromversorgung und Kühlung nötig sind. 

Die AMD Instinct MI350P PCIe-Karten unterstützen traditionelle 16-Bit- und 8-Bit-Formate sowie MXFP6 und MXFP4 für eine effiziente Modellbereitstellung. Mit 144 GB HBM3E-Speicher und einer Spitzenspeicherbandbreite von bis zu 4,0 TB/s ermöglichen sie leistungsstarke Inferenzen in Umgebungen, in denen OAM-basierte Systeme (Open Accelerator Module) nicht praktikabel sind. Damit können Unternehmen aller Größen modernste GPU-Technologie in ihre Infrastruktur integrieren und kleine bis große modellbasierte Workloads mühelos und effizient ausführen.

Die AMD Instinct MI350P PCIe-Karten ermöglichen es Unternehmen, ihre KI-Einführung über mehrere Workloads hinweg überschaubar, kosteneffizient und skalierbar auszuweiten. Diese Beschleunigerkarten bieten eine hohe Flexibilität beim Deployment von agentischer KI. Sie ermöglichen es Unternehmen, die Inferenz näher an den Daten auszuführen, Latenzen zu verringern und verteilte Agent-Workflows in Echtzeit zu unterstützen – ohne die bestehende Infrastruktur neu strukturieren zu müssen.

AMD Instinct MI350P PCIe-Karte

Verteilte Inferenz und Workload-Platzierung für agentische KI

Agentische KI umfasst die Koordination der passenden Infrastruktur für jeden Teil des Workflows. Red Hat AI bietet Kubernetes-native Funktionen zum Bereitstellen, Skalieren, Überwachen und Verwalten von KI-Workloads auf beschleunigergestützter und CPU-basierter Infrastruktur. Plattformteams können Accelerator-Profile konfigurieren, die AMD GPU-gestützte Modellbereitstellung aktivieren, Hardwareressourcen auf Projektebene definieren und OpenShift-Funktionen für Scheduling, Queue-Quotas und Workload-Management nutzen, um Workloads auf der geeigneten Infrastruktur zu platzieren.

Für die Modellbereitstellung unterstützt Red Hat AI KServe und vLLM-basierte Runtimes auf AMD-GPUs, einschließlich AMD Instinct-Beschleunigern, während sich eine CPU-basierte Infrastruktur für die Orchestrierung, das Retrieval, die Vorverarbeitung, das Routing und leichtere Inferenzaufgaben nutzen lässt. OpenShift AI umfasst auch llm-d für die verteilte KI-Inferenz im großen Umfang. llm-d erweitert die vLLM-basierte Bereitstellung um Kubernetes-native verteilte Inferenzfunktionen wie die Trennung von Prefill und Decode oder ein KV-Cache-optimiertes Routing. Zusammen mit AMD Instinct-GPUs und AMD EPYC™-CPUs bieten OpenShift AI und llm-d Unternehmen eine praktische Basis für agentische KI-Plattformen, die GPU-beschleunigtes Reasoning mit einer effizienten CPU-basierten Workflow-Ausführung kombinieren können.

Das Ergebnis ist ein optimiertes System, das die Effizienz steigert, den unnötigen GPU-Verbrauch reduziert und KI-Services ohne lineare Kostensteigerungen skaliert.
 

Hochleistungsfähige vLLM-CPU-Inferenz mit AMD EPYC und AMD ZenDNN

Nicht jeder Agentenaufruf benötigt eine GPU. Agentische Systeme sind von Natur aus modular aufgebaut – ein einzelner Workflow kann komplexes Reasoning an ein großes Modell auf einer GPU leiten, während er einfachere Aufgaben wie Klassifizierung, Extraktion oder Routing an kleinere Modelle übergibt. Es ist ineffizient, jeden Aufruf über eine GPU auszuführen, wenn CPUs Schritte mit geringerer Latenz effektiv verarbeiten können. In modernen KI-Systemen sind CPUs nicht mehr nur unterstützende Infrastruktur, sondern eine entscheidende Engine für skalierbare Inferenz. 

Red Hat AI 3.4 führt vLLM-CPU mit dem ZenDNN-Backend ein und bringt leistungsstarke CPU-Inferenz auf AMD EPYC-Prozessoren. ZenDNN bietet abgestimmte Kernel und optimierte Primitive, mit denen Frameworks wie PyTorch effizient auf AMD EPYC-CPUs laufen. Dies erschließt eine leistungsstarke Engine für skalierbare KI-Workloads. 

Durch die Erweiterung nativer Frameworks mit AMD EPYC-optimierten Graph- und Operator-Erweiterungen – einschließlich Fused Patterns, vektorisierter Ausführung und AOCL-DLP-Mikrokernel (AMD Optimizing CPU Libraries) – ermöglicht dies eine Beschleunigung ohne Codeänderung durch das in vLLM integrierte ZenDNN. Das Ergebnis ist ein Plug-and-Play-Pfad zu Hochdurchsatz-Inferenz auf bestehender Infrastruktur, mit breiter Kompatibilität über PyTorch torch.compile und Upstream-Support in vLLM 0.18.0. 

Dank INT8/INT4-Quantisierung und optimierter vLLM-Integration können generative KI-Modelle (gen KI) effizient auf einer CPU-Infrastruktur ausgeführt werden. Dies ermöglicht kostengünstige, energiesparende Lösungen für hybride Workloads, die keinen strengen Latenzbeschränkungen unterliegen. So kann die KI-Inferenz parallel zum universellen Computing auf bestehenden AMD EPYC-CPU-Flotten ausgeführt werden. Dadurch wird die Infrastrukturnutzung verbessert und der Bedarf an dedizierten Beschleunigern bei den einzelnen Deployments reduziert.

CPU-Inferenz ist besonders wertvoll für Unternehmensszenarien wie die Batch-Verarbeitung außerhalb der Spitzenzeiten, hybride Workloads, bei denen KI nur einen Teil der gesamten Rechenleistung ausmacht, und eine einfache KI-Einführung unter Nutzung vorhandener Infrastruktur, Kompetenzen und luftgekühlter Umgebungen.

Die Prozessoren der Serie AMD 9005 wurden speziell für das parallele Always-on-Computing entwickelt, das agentische KI erfordert. Mit bis zu 192 Kernen (384 SMT-Threads), hoher Speicherbandbreite, großer Cache-Kapazität, stärkerer Core-Performance und umfassendem I/O bieten sie die nötige CPU-Leistung für Orchestrierung, Retrieval, Vorverarbeitung, Tool-Aufrufe, Routing und Modellinferenz im großen Umfang. 

Der kommende AMD EPYC-Prozessor der nächsten Generation mit dem Codenamen „Venice“ wird diese Funktionen mit bis zu 256 Kernen (512 Threads), Unterstützung für MRDIMMs mit Speichergeschwindigkeiten von bis zu 12,8 MT/s und einer Bandbreite von bis zu 1,64 TB/s sowie PCIe Gen 6 für I/O mit hohem Durchsatz noch weiter ausbauen. 

In der Praxis können sich GPUs dadurch auf komplexes Reasoning konzentrieren, während AMD EPYC-CPUs den umgebenden Agenten-Workflow effizient verwalten, zahlreiche gleichzeitige Anfragen bedienen, eine geringe Latenz beibehalten und die Gesamtauslastung der Infrastruktur verbessern. 

Performance: AMD EPYC 9R45 in Aktion

Um die Leistungsfähigkeit des ZenDNN-Backends zu demonstrieren, haben wir ein Performance-Benchmarking mit dem AMD EPYC 9R45 96-Core-Prozessor durchgeführt. Die Evaluierung konzentrierte sich auf einen „chat_lite“-CPU-Inferenz-Benchmark mit einer Short-Context-Workload von 128:128.

Testkonfiguration

Die Umgebung verwendete AWS m8a.metal-48xl-Instanzen. Die Architektur nutzte 5 verschiedene Instanzen von Red Hat AI Inference 3.4. Jeder Instanz wurden 32 Kerne mit aktiviertem Prefix Caching zugewiesen, um den Durchsatz zu optimieren. GuideLLM fungierte als primäres Evaluierungstool, das über einen NGINX-Load-Balancer geleitet wurde, um die Evaluierung der vLLM-CPU-Performance zu orchestrieren.

Skalierung mit hohem Durchsatz

Mit zunehmender Nebenläufigkeit zeigt AMD EPYC eine beeindruckende Skalierung: 

• Quantisierte Effizienz: Das quantisierte W8A8-Modell erreichte einen durchschnittlichen Durchsatz von etwa 2.421 Token/s bei einer Nebenläufigkeit von 160.
• Spitzen-Performance: Bei derselben Nebenläufigkeitsstufe stieg der P95-Durchsatz für das quantisierte Modell auf über 3.260 Token/s, was die Fähigkeit des Prozessors zeigt, stoßartige agentische Workloads zu bewältigen.
• Basis-Performance: Selbst das Standardmodell FP16 Llama-3.1-8B behielt einen konstanten durchschnittlichen Durchsatz von etwa 1.500 Token/s bei 160 Nebenläufigkeit bei.

Vorhersehbare Latenz für agentische Workflows

Damit KI-Agenten reaktionsfähig bleiben, sind die Zeitspanne bis zum ersten Token (TTFT) und die Latenz zwischen Token (ITL) von entscheidender Bedeutung:

• Reaktionsfähigkeit: Das quantisierte Modell behält eine bemerkenswert niedrige mittlere TTFT bei, die selbst bei einer Nebenläufigkeit von 160 deutlich unter der Schwelle von 2 Sekunden bleibt.
• Flüssigkeit: Die mittlere ITL für das quantisierte Modell bleibt sehr konsistent und liegt im gesamten Testspektrum zwischen 100 ms und 130 ms.
• End-to-End-Effizienz: Die durchschnittliche End-to-End-Latenz (E2E) für eine vollständige Generation betrug mit dem quantisierten Modell ungefähr 16,8 Sekunden bei maximaler Nebenläufigkeit, verglichen mit über 27 Sekunden für die nicht quantisierte Version. 

Wir arbeiten bei zukünftigen Releases weiterhin eng mit AMD zusammen, um die Performance auf AMD EPYC-Prozessoren weiter abzustimmen und zu optimieren, wobei vLLM und ZenDNN in Red Hat AI Inference integriert sind. Bleiben Sie auf dem Laufenden für weitere Updates, sobald diese Optimierungen verfügbar sind. 

Die Infrastruktur-Anforderungen von agentischer KI

Beim Red Hat Summit 2026 haben AMD und Red Hat eine integrierte, unternehmensbereite Basis für agentische KI angekündigt. Aufbauend auf einer strategischen Zusammenarbeit, die bereits AMD Instinct-GPUs und AMD EPYC-CPUs in den Mittelpunkt von Red Hat AI gerückt hat, haben wir gemeinsam die Compute-Basis für agentische KI in Unternehmen geschaffen.

Der Wechsel von Inferenz zu Agenten ist nicht nur eine Softwareänderung, sondern ein Wendepunkt für die Infrastruktur. Agenten benötigen GPUs mit hohem Durchsatz für komplexes Reasoning, CPUs für leichtgewichtige Aufgaben, flexible Formfaktoren für unterschiedliche Deployments und ein intelligentes Scheduling, um die Rechenleistung in Echtzeit an den Bedarf anzupassen.

AMD und Red Hat stellen jetzt diese Basis bereit: MI355X für die Inferenz von Frontier-Modellen, AMD EPYC vLLM-CPU für kosteneffiziente Lightweight-Aufrufe und MI350P, um GPU-Beschleunigung in neue Umgebungen zu bringen. Basierend auf Open Source. Unternehmensgerecht. Auf Red Hat AI verfügbar.

Agentische KI definiert die Arbeitsweise von Unternehmen neu, und die Infrastruktur ist jetzt ein strategisches Unterscheidungsmerkmal. Mit AMD Instinct Accelerators und AMD EPYC-Prozessoren, die tief in Red Hat AI integriert sind, können Unternehmen skalierbare, effiziente und offene KI-Plattformen bereitstellen, die für den realen Einsatz konzipiert sind. Gemeinsam unterstützen AMD und Red Hat nicht nur die Ära der agentischen KI, sondern helfen Unternehmen auch dabei, diese zu operationalisieren.