Beim Thema KI-Infrastruktur steht meist das Modelltraining im Mittelpunkt. Das Training großer Modelle erfordert riesige Datensätze, verteiltes Computing und spezielle Hardwarebeschleuniger. Der Engineering-Aufwand im Zusammenhang mit der Orchestrierung von Trainingsjobs in Clustern von GPUs (Graphics Processing Units) oder TPUs (Tensor Processing Units) ist erheblich und häufig der sichtbarste Teil des KI-Lifecycles.
Im Gegensatz dazu erscheint die Inferenz täuschend einfach. Sobald ein Modell trainiert ist, liegt die Annahme nahe, dass die Bereitstellung von Vorhersagen unkompliziert sein müsste: Das Modell wird geladen, Anfragen werden an das Modell gesendet und die Ergebnisse werden zurückgegeben. Tatsächlich gehören in der Produktion eingesetzte Inferenzsysteme zu den komplexesten verteilten Systemen, wenn es darum geht, zuverlässig in großem Umfang zu arbeiten.
Im Gegensatz zu Trainings-Workloads, die in der Regel batchorientiert und kontrolliert sind, müssen Inferenzsysteme unter realen Bedingungen arbeiten. Anfragen gehen unvorhersehbar ein, und die Anforderungen an die Latenz sind streng. Zudem muss die Infrastruktur dynamisch skalierbar sein und dabei eine konsistente Performance aufrecht erhalten. Gleichzeitig müssen diese Systeme teure GPU-Ressourcen effizient verwalten, große Modellspeicher-Footprints bewältigen und möglicherweise Tausende von gleichzeitigen Anfragen bedienen.
In Unternehmensumgebungen werden Inferenz-Workloads zunehmend auf Kubernetes-basierten KI-Plattformen ausgeführt. Unternehmen stellen Modelle auf Plattformen wie Red Hat OpenShift AI bereit, wo Inferenzsysteme neben traditionellen Anwendungs-Workloads koexistieren müssen. Kubernetes bietet leistungsstarke Primitive für die Orchestrierung und Skalierung, aber durch die KI-Inferenz sehen sich Platform Engineers neuen operativen Herausforderungen gegenüber.
Diese Herausforderungen betreffen oft mehrere zentrale Bereiche, darunter Anfragenplanung und Batching, GPU- und Beschleunigernutzung, Modell-Lifecycle Management, Speichereffizienz und Ressourcenisolation sowie die Aufrechterhaltung niedriger Latenz bei unvorhersehbarer Last.
Plattformen wie OpenShift AI können für eine strukturierte Umgebung für das Management dieser Workloads sorgen und bieten integrierte Funktionen für Modell-Deployment, Modellbereitstellung und Beobachtbarkeit. Doch selbst mit diesen Plattformen bleibt die zugrunde liegende Systemdynamik komplex und erfordert eine sorgfältige Entwicklung.
Der grundlegende Unterschied zwischen Training und Inferenz
Training und Inferenz können mit den gleichen Modellen funktionieren, stellen aber sehr unterschiedliche Anforderungen an die Infrastruktur.
Trainingssysteme sind in der Regel auf Durchsatz und Effizienz bei Jobs mit langer Ausführungszeit optimiert. Sie werden oft in kontrollierten Umgebungen ausgeführt, in denen Workloads vorhersehbar sind und die Ressourcenzuweisung relativ stabil ist. Trainings-Workloads haben in der Regel eine lange Ausführungszeit, sind batchorientiert, vorhersehbar und durchsatzoptimiert.
Inferenzsysteme arbeiten unter völlig anderen Beschränkungen. Sie müssen hochdynamische Workloads unterstützen, bei denen der Anfrageverkehr ständig schwankt und Antworten innerhalb strenger Latenzbudgets bereitgestellt werden müssen.
Zu den wichtigsten operativen Anforderungen gehören unvorhersehbare Muster des Anfrageverkehrs, Echtzeit-Antworterwartungen, ein hohes Maß an Nebenläufigkeit, eine dynamische Skalierung der Infrastruktur und eine effiziente Nutzung von Hardwarebeschleunigern.
Dadurch entsteht eine inhärente Spannung zwischen Latenz und Durchsatz. Engineers müssen dafür sorgen, dass Vorhersagen schnell zurückgegeben werden, und gleichzeitig die Effizienz der GPU-Ressourcen maximieren. Dieses Gleichgewicht lässt sich nur mit einer ausgereiften Planung, intelligentem Batching und einer sorgfältigen Verwaltung der Systemressourcen erreichen.
Mit zunehmendem Datenverkehr steigt auch die Komplexität für das Aufrechterhalten dieses Gleichgewichts.
Das verborgene System hinter einer einzelnen Vorhersage
Aus der Benutzerperspektive erscheint eine KI-Inferenzanfrage einfach.
User Request → Model → PredictionIn der Praxis umfasst die Infrastruktur, die für die Bereitstellung der Vorhersage verantwortlich ist, jedoch häufig mehrere Schichten verteilter Systeme.
Client Request
↓
API Gateway
↓
Request Queue
↓
Batch Scheduler
↓
Model Server
↓
GPU Execution
↓
Post-processing
↓
ResponseDie einzelnen Phasen dieser Pipeline können potenzielle Performance-Engpässe verursachen und bringen eigene operative Anforderungen mit sich.
Das API-Gateway muss Authentifizierung, Ratenbegrenzung und Anfrage-Routing übernehmen. Die Anfragewarteschlange puffert den eingehenden Datenverkehr, um Nachfragespitzen auszugleichen. Der Batch Scheduler legt fest, wie Anfragen für eine effiziente GPU-Ausführung gruppiert werden. Der Modellserver verwaltet das Laden und Ausführen des Modells, während die GPU-Schicht die Berechnung ausführt.
Wenn Inferenz-Workloads auf Tausende oder Millionen von Anfragen pro Minute skaliert werden, ist die Koordination zwischen diesen Schichten entscheidend. Kleine Ineffizienzen in einer Komponente können sich im gesamten System ausbreiten und die Gesamtlatenz und den Durchsatz erheblich beeinflussen.
Model as a Service (MaaS): Abstraktion der Komplexität
Da Unternehmen KI für mehrere Produkte und Services einführen, wird die Verwaltung einzelner Modell-Deployments schnell zu einer operativen Herausforderung. Anstatt Modelle als Standalone-Services bereitzustellen, führen viele Unternehmen eine MaaS-Architektur ein.
In einer MaaS-Architektur werden KI-Modelle über standardisierte APIs bereitgestellt, während die Plattform die operative Komplexität bei der Bereitstellung, Skalierung und Ressourcenzuweisung bewältigen muss.
Plattformen wie OpenShift AI bieten integrierte Funktionen für das Deployment von Modellen als skalierbare Services auf Kubernetes. Diese Plattformen lassen sich in Frameworks zur Modellbereitstellung integrieren und bieten Abstraktionen, mit denen sich Teams auf das Modellverhalten statt auf das Infrastrukturmanagement konzentrieren können.
Zu den typischen Aufgaben einer MaaS-Plattform gehören das Deployment von Modellen als containerisierte Services, das Verwalten der GPU- und Beschleunigerplanung, das Weiterleiten von Inferenzanfragen an verfügbare Replikate, das automatische Skalieren von Inferenzendpunkten und das Bereitstellen von Beobachtbarkeitsfunktionen für die Modell-Performance. Durch Zentralisieren dieser Zuständigkeiten reduzieren MaaS-Plattformen den operativen Overhead, der mit der Verwaltung einzelner Inferenzservices einhergeht. Aber selbst mit diesen Abstraktionen muss die Plattform die zugrunde liegende Komplexität hochleistungsfähiger Inferenzsysteme managen.
Batching: Der Kompromiss zwischen Durchsatz und Latenz
Anfrage-Batching ist eine der effektivsten Techniken zur Verbesserung der Inferenz-Performance.
GPUs sind für die parallele Verarbeitung großer Datenmengen ausgelegt. Beim Ausführen eines Modells mit einer einzelnen Eingabe werden die Rechenkapazitäten der GPU häufig nicht ausreichend ausgelastet. Durch das Gruppieren mehrerer Anfragen und das Ausführen als Batch können Inferenzsysteme den Durchsatz erheblich erhöhen.
Batching bietet mehrere Vorteile, darunter eine verbesserte GPU-Auslastung, ein reduzierter Computing Overhead pro Anfrage und ein höherer Systemdurchsatz insgesamt. Batching bringt jedoch auch einen inhärenten Kompromiss mit sich. Um einen Batch zu erstellen, muss das System warten, bis mehrere Anfragen eingegangen sind. Diese Wartezeit erhöht die Latenz für einzelne Anfragen. Wenn das System zu lange wartet, bis sich ein Batch gebildet hat, können die Reaktionszeiten unzumutbar lang werden.
Inferenzsysteme müssen das Batching-Verhalten sorgfältig auf mehrere Faktoren abstimmen: die Eingangsrate für Anfragen, die maximale Batch-Größe, akzeptable Latenzschwellenwerte und GPU-Speichereinschränkungen. Moderne Inferenz-Engines passen die Batching-Parameter dynamisch an die Bedingungen des Datenverkehrs in Echtzeit an, um ein optimales Gleichgewicht zwischen Durchsatz und Latenz aufrechtzuerhalten.
Anfragewarteschlangen und Datenverkehrsspitzen
Eine weitere Herausforderung bei Inferenzsystemen ist die Unvorhersehbarkeit des realen Datenverkehrs. Anfragen gehen selten mit einer konstanten Rate ein. Stattdessen gehen sie häufig schubweise ein, etwa aufgrund von Spitzen beim Benutzerdatenverkehr, API-gesteuerten Workloads oder Batch-Jobs, die mehrere Inferenzanfragen gleichzeitig auslösen. Um diese Variable zu managen, führen Inferenzsysteme in der Regel Anfragewarteschlangen zwischen der API-Schicht und der Modellausführungsschicht ein.
Warteschlangen bieten einen wichtigen Puffermechanismus. Sie tragen dazu bei, den eingehenden Datenverkehr auszugleichen und zu verhindern, dass die Modellserver durch plötzliche Anfragen überlastet werden. Warteschlangen bringen jedoch auch operative Herausforderungen mit sich. Wenn die Warteschlange zu groß wird, steigt die Latenz schnell an, da Anfragen länger auf ihre Verarbeitung warten müssen. Wenn die Warteschlange zu klein ist, kann das System Anfragen bei Datenverkehrsspitzen ablehnen.
Für ein effektives Warteschlangenmanagement müssen verschiedene Signale überwacht werden, darunter die Warteschlangenlänge, die Eingangsrate für Anfragen, der Verarbeitungsdurchsatz und die Schwellenwerte für Anfragen-Timeouts.
Speicherdruck und Modell-Footprints
Das Speichermanagement ist eine weitere große Herausforderung bei Inferenzsystemen. Moderne KI-Modelle – insbesondere Large Language Models (LLMs) – können erheblichen GPU-Speicher benötigen. Allein die Modellgewichtungen können mehrere Gigabyte beanspruchen, und für Zwischenberechnungen während der Inferenz ist zusätzlicher Speicher erforderlich.
Zusätzlich zu den Modellgewichtungen müssen Inferenz-Workloads mehrere andere speicherintensive Komponenten verwalten, darunter Aktivierungstensors, die während der Inferenz generiert werden, Token-Puffer für die Sequenzgenerierung, von Transformer-Architekturen verwendete Schlüssel-Wert-Caches und Zwischentensors, die bei der Modellausführung verwendet werden. Diese Speicheranforderungen begrenzen die Anzahl der gleichzeitigen Inferenz-Workloads, die auf einer einzelnen GPU ausgeführt werden können.
Speicherbeschränkungen beeinflussen auch mehrere operative Entscheidungen, wie etwa die maximalen Batch-Größen, die Anzahl gleichzeitiger Anfragen und die Anzahl der Modelle, die eine GPU gemeinsam nutzen können. In mandantenfähigen Umgebungen, in denen mehrere Teams Modelle in einer gemeinsamen Infrastruktur bereitstellen, wird die Verwaltung des GPU-Speichers noch komplexer.
Ladezeit des Modells
Ein weiterer operativer Faktor, der Engineers häufig überrascht, ist die Zeit, die für die Modellinitialisierung benötigt wird. Bei großen Modellen kann es einige Zeit dauern, bis sie in den GPU-Speicher geladen sind. Je nach Modellgröße und Storage-Bandbreite kann das Laden eines Modells mehrere Sekunden oder sogar Minuten dauern. Diese Verzögerung führt das Konzept des Kaltstarts in Inferenzsystemen ein.
Kaltstarts können auftreten, wenn ein Modell zum ersten Mal bereitgestellt wird, neue Replikate während der automatischen Skalierung erstellt werden oder zuvor inaktive Modellinstanzen Datenverkehr empfangen. Um diese Auswirkungen zu mindern, implementieren viele Inferenzplattformen Strategien wie das Vorabladen von Modellen in den Arbeitsspeicher, das Verwalten warmer Replikate, das Caching häufig verwendeter Modelle und das Lazy Loading von Modellkomponenten.
GPU-Auslastung und Ressourceneffizienz
GPUs stellen eine der teuersten Komponenten der modernen KI-Infrastruktur dar. Das Erreichen einer hohen GPU-Auslastung ist daher ein wichtiges Ziel beim Design einer Inferenzplattform. Es ist jedoch nicht so einfach, die Auslastung zu maximieren und gleichzeitig eine niedrige Latenz beizubehalten.
Moderne Inferenz-Runtimes wie Red Hat AI Inference wurden entwickelt, um die GPU-Auslastung durch die Implementierung fortschrittlicher Planungs- und Batching-Techniken zu optimieren. Diese Runtimes lassen sich in Kubernetes-basierte Plattformen wie OpenShift AI integrieren und bieten Funktionen zur Verbesserung der gesamten Systemeffizienz. Zu diesen Funktionen gehören häufig ein optimiertes Batching von Anfragen, das Bereitstellen mehrerer Modelle auf gemeinsam genutzten GPUs, hardwarekonforme Planung und beschleunigerkonforme Modellausführung.
Trotz dieser Optimierungen erfordert die Aufrechterhaltung einer effizienten GPU-Nutzung eine sorgfältige Überwachung des Systemverhaltens. Zu den wichtigsten operativen Metriken gehören häufig die GPU-Rechenauslastung, die GPU-Speicherauslastung, der Durchsatz von Inferenzanfragen sowie die Länge und Latenz der Warteschlange. Anhand dieser Signale können Plattformteams bestimmen, wann sie die Infrastruktur skalieren oder Planungsstrategien anpassen müssen.
Warum Inferenzsysteme bei der Skalierung an ihre Grenzen stoßen
Mit zunehmender Größe der Inferenz-Workloads treten in der Regel mehrere Systemengpässe gleichzeitig auf. Zu den gängigen Fehlerquellen gehören die Erschöpfung des GPU-Speichers, überlastete Anfragewarteschlangen, ineffiziente Batching-Konfigurationen, ungleichmäßige Verteilung des Datenverkehrs auf Replikate und langsame Modellinitialisierung.
Diese Probleme treten selten isoliert auf. Stattdessen beeinflussen sie sich häufig auf komplexe Weise gegenseitig. So kann beispielsweise durch ineffizientes Batching die GPU-Auslastung sinken. Durch eine geringere Auslastung kann sich die Warteschlangenlänge erhöhen, was wiederum die Latenz für eingehende Anfragen erhöht. Um diese Interaktionen zu verstehen, ist eine umfassende Beobachtbarkeit sowohl auf der Infrastruktur- als auch der Anwendungsschicht erforderlich.
Die Rolle des Platform Engineerings bei der KI-Inferenz
Angesichts der Komplexität von Inferenzsystemen erfordert die Bereitstellung von KI-Modellen in großem Umfang zunehmend strenge Platform Engineering-Praktiken.
In Kubernetes-basierten Umgebungen setzen Plattformteams oft auf integrierte KI-Plattformen wie OpenShift AI, um Inferenz-Workloads zu managen. Diese Plattformen bieten standardisierte Schnittstellen für das Deployment von Modellen und lassen sich in die Kubernetes-Funktionen für Planung, Netzwerkverwaltung und Sicherheitskontrollen integrieren.
Zu den wichtigsten Plattformfunktionen gehören in der Regel containerisierte Modell-Deployments, GPU- und Beschleunigerplanung, automatische Skalierung von Inferenzendpunkten, integrierte Beobachtbarkeit für Modell- und Infrastrukturmetriken sowie Workload-Isolierung für mandantenfähige Umgebungen.
Eine typische Inferenzarchitektur für Unternehmen kann folgendermaßen aussehen:
Client Application
↓
API Gateway
↓
Model Endpoint (Model-as-a-Service)
↓
Red Hat AI Inference Server
↓
GPU Accelerated Execution
↓Beobachtbarkeit (Prometheus/OpenTelemetry)
Letztendlich müssen Inferenzplattformen 3 konkurrierende Prioritäten in Einklang bringen: niedrige Latenz, hoher Durchsatz und effiziente Ressourcennutzung. Dieses Gleichgewicht konsistent zu erreichen, ist einer der anspruchsvollsten Aspekte beim Aufbau produktionsreifer KI-Systeme.
Die Zukunft der KI-Inferenzinfrastruktur
Mit der zunehmenden Einführung von KI wird auch die Inferenzinfrastruktur intelligenter und anpassungsfähiger. Zukünftige Systeme werden wahrscheinlich adaptive Batching-Algorithmen, eine dynamische Planung von Anfragen, automatisiertes GPU-Workload-Balancing, modellbewusste automatische Skalierung und KI-gesteuerte Infrastrukturoptimierung umfassen. Langfristiges Ziel ist die Entwicklung von Inferenzplattformen, die sich automatisch an Workload-Muster anpassen und dabei eine stabile Performance und Ressourceneffizienz aufrechterhalten.
Zusammenfassung
Das Training ist zwar der sichtbarste Teil des KI-Lifecycles, den realen Mehrwert der Modelle schafft aber erst die Inferenz.
Für eine zuverlässige Bereitstellung von Modellen in großem Umfang muss eine Vielzahl von Herausforderungen bei verteilten Systemen gelöst werden, von der Anfrageplanung und GPU-Auslastung bis hin zur Speicherverwaltung und der Orchestrierung des Modell-Lifecycles.
Plattformen wie OpenShift AI, MaaS-Architekturen und optimierte Runtimes wie Red Hat AI Inference Server helfen dabei, diese Herausforderungen zu vereinfachen. Das Verständnis des zugrunde liegenden Systemverhaltens bleibt jedoch für das Design einer robusten KI-Infrastruktur unerlässlich.
Inferenz mag auf den ersten Blick einfach erscheinen. In großem Umfang wird die Bereitstellung von KI-Modellen jedoch zu einem der anspruchsvollsten Probleme im modernen Infrastruktur-Engineering.
Weitere Informationen
Sind Sie bereit für eine vereinfachte KI-Inferenz in großem Umfang? Red Hat OpenShift AI bietet eine produktionsbereite Plattform für das Bereitstellen, Managen und Skalieren von KI-Inferenz-Workloads auf Kubernetes – mit integrierter Unterstützung für GPU-Planung, Modellbereitstellung und Beobachtbarkeit.
- Mehr über OpenShift AI erfahren: Einstieg in Red Hat OpenShift AI
- Red Hat AI Inference testen: Mehr über die optimierte Modellbereitstellung erfahren
- Mehr erfahren: Folgen Sie dem KI/ML-Lernpfad auf Red Hat Developer, um Ihre Kenntnisse im Bereich Inferenz zu erweitern.
Ressource
Einstieg in die KI-Inferenz
Über den Autor
Twinkll Sisodia is a Senior Software Engineer at Red Hat, where she leads initiatives focused on OpenShift AI, observability, and partner integrations. With a strong background in AI infrastructure and platform automation, she works at the intersection of engineering and collaboration, building scalable, production-ready solutions for enterprise AI workloads. Twinkll has been instrumental in driving observability for large language models using tools like OpenTelemetry and Dynatrace, and actively contributes to Red Hat's AI kickstarts and open-source projects. She collaborates closely with partners to integrate cutting-edge technologies into OpenShift AI, enhancing visibility, performance, and usability. Passionate about building impactful solutions and driving innovation, she continues to shape the future of AI platform engineering.
Ähnliche Einträge
KI-Agenten am Speicherlimit: Die Kontextgrenze überwinden
Wie KI-Inferenz funktioniert: Verständlich erklärt
Nach Thema durchsuchen
Automatisierung
Das Neueste zum Thema IT-Automatisierung für Technologien, Teams und Umgebungen
Künstliche Intelligenz
Erfahren Sie das Neueste von den Plattformen, die es Kunden ermöglichen, KI-Workloads beliebig auszuführen
Open Hybrid Cloud
Erfahren Sie, wie wir eine flexiblere Zukunft mit Hybrid Clouds schaffen.
Sicherheit
Erfahren Sie, wie wir Risiken in verschiedenen Umgebungen und Technologien reduzieren
Edge Computing
Erfahren Sie das Neueste von den Plattformen, die die Operations am Edge vereinfachen
Infrastruktur
Erfahren Sie das Neueste von der weltweit führenden Linux-Plattform für Unternehmen
Anwendungen
Entdecken Sie unsere Lösungen für komplexe Herausforderungen bei Anwendungen
Virtualisierung
Erfahren Sie das Neueste über die Virtualisierung von Workloads in Cloud- oder On-Premise-Umgebungen