Was Sie vorher wissen sollten: Ein Einblick in agentische KI-Systeme mit Red Hat AI

Agentische KI verändert die Art und Weise, wie Unternehmen über Automatisierung, Entscheidungsfindung und Skalierbarkeit denken. Einen realen Agenten zu entwickeln, ist jedoch nicht so einfach, wie einen Chatbot zu prompten. Produktionsfähige agentische Systeme erfordern mehr als Sprachmodelle, nämlich eine einheitliche Architektur, die das Reasoning koordiniert, Tools orchestriert, den Speicher verwaltet, Daten schützt und das Verhalten steuert.

Dieses E-Book bietet einen technischen Einblick in diese Architektur, die auf dem Open Source-Ansatz von Red Hat basiert. Von Inferenz und Tool-Orchestrierung bis hin zu Sicherheit und Beobachtbarkeit müssen alle Komponenten modular, sicherheitsorientiert und produktionsbereit sein. Hier kommt Red Hat® AI ins Spiel. Red Hat AI wurde mit Red Hat OpenShift® AI entwickelt und wird von Llama Stack unterstützt. Die Plattform bietet Ihnen das Gerüst, um in großem Umfang intelligente Agenten zu entwickeln, bereitzustellen und zu verwalten.

Anstatt mit fragmentierten Frameworks und inkonsistenten Toolchains hantieren zu müssen, ermöglicht Red Hat AI Unternehmen die standardisierte Entwicklung und Skalierung agentischer Workflows. Mit offenen Standards wie dem Model Context Protocol (MCP) vereinheitlicht Red Hat, wie Agenten Tools entdecken und nutzen. Durch die Integration von Sicherheits-, Bewertungs- und Infrastrukturautomatisierung hilft Red Hat Teams dabei, vom Proof of Concept bis zur Produktion mit Prozessen zu arbeiten, die wiederholbarer und zuverlässiger sind.

Wichtige Begriffe

• Agentische KI-Systeme und Workflows
  Agentische KI-Systeme sind mehr als nur Large Language Models (LLMs). Sie sind eine Ansammlung mehrerer KI-Systeme, die zusammenarbeiten und Reasoning, Speicher, Planung und externe Tools nutzen, um langfristig komplexe Aufgaben auszuführen. Diese Systeme folgen strukturierten Workflows und ermöglichen es so einer KI, autonom oder halbautonom auf reale Bedingungen zu reagieren.
• Model Context Protocol (MCP)
  MCP ist ein offener Standard, der auf konsistente und nachvollziehbare Weise definiert, wie KI-Agenten mit Tools, Daten und Speicher interagieren. Er hilft Entwicklungsteams bei der Arbeit an modularen und wiederverwendbaren KI-Systemen, die sich leichter debuggen und skalieren lassen.
• Llama Stack
  Der Llama Stack ist eine einheitliche Softwareschicht, die Llama-Modelle in produktionsbereite Tools verpackt, einschließlich APIs (Application Programming Interfaces), Orchestrierung, Protokollierung und Tool-Integration. Er vereinfacht die Bereitstellung und den Betrieb von Llama-basierten, agentischen KI-Systemen in Unternehmensumgebungen.
• LangChain
  LangChain ist ein Open Source-Framework, mit dem Entwicklungsteams komplexe Anwendungen mithilfe von Sprachmodellen erstellen können. Ähnlich wie MCP und Llama Stack bietet es Tools zum Verknüpfen von Modellen mit externen Daten, Speicher und Tools. Obwohl es sich dabei nicht um das bei Red Hat AI verwendete Basis-Framework handelt, ist Red Hat AI eine flexible und offene Plattform, die andere Ansätze unterstützen kann, wenn sie für ein Projekt geeignet sind.

Die Entwicklung eines agentischen KI-Systems umfasst weit mehr, als nur ein LLM (Large Language Model) in eine Anwendung einzubetten. Der Kern eines effektiven Agenten ist ein System, das logisches Denken, Planen, Handeln und Lernen ermöglicht und auf diversen technischen Komponenten basiert. Dazu gehören Argumentationsketten, die Probleme in Unteraufgaben aufteilen, Prompts, die das Verhalten von Agenten definieren, Speicher für die Kontextverwaltung und externe Tools, mit denen Sie Maßnahmen über die vorab trainierten Gewichtungen des LLM hinaus ergreifen können.

Red Hat AI hilft Ihnen dabei, diese komplexe Architektur zu optimieren. Die Plattform basiert auf OpenShift AI als Kernkomponente und vereint wichtige Funktionen wie Inferenz, Orchestrierung, Sicherheit, Beobachtbarkeit und Compliance mit den Tools, die KI-Agenten für eine effektive Funktionsweise benötigen.

Mit Red Hat AI können Teams mit überschaubaren Use Cases beginnen und im Laufe der Zeit skalieren. Viele Organisationen beginnen damit, interne Abrufagenten zu entwickeln und mit LLM verbesserte Wissensbots einzusetzen, die Fragen auf der Grundlage unternehmensspezifischer Daten beantworten. Andere entwickeln Agenten zur Protokollkorrektur und für IT-Problembehebungen, die die Beobachtbarkeit von Red Hat OpenShift mit Red Hat Ansible® Automation Platform und externen APIs integrieren. Ein weiteres gängiges Szenario ist die KI-gestützte Codemigration, bei der Agenten den Übergang von traditionell zu modern unterstützen, indem sie Repositories analysieren und Upgrade-Pfade vorschlagen.

Entscheidend ist, dass diese Agenten nicht nur einmalig nutzbar, sondern Teil von mehrstufigen Workflows mit eingebettetem Reasoning und Speicher sind. Angesichts zunehmender Komplexität bietet Red Hat umfassende Lifecycle Management- und Orchestrierungsfunktionen für Multi-Agenten-Anwendungen mit klaren Delegierungs- und Entscheidungs-Checkpoints. 

Use Cases

Wie Unternehmen heutzutage Agenten entwickeln 

Rekrutierung und Koordinierung für klinische Studien

Ein Unternehmen aus dem Gesundheitswesen hat ein agentisches System eingeführt, um die Rekrutierung für klinische Studien im Frühstadium zu automatisieren, den manuellen Aufwand zu reduzieren und die Qualifizierung von Leads zu beschleunigen. Das System beginnt mit der Identifizierung potenzieller Kandidatinnen und Kandidaten über Facebook-Anzeigen oder Uploads elektronischer Patientenakten (EMR). Nach der Aufnahme dieser Daten nimmt ein KI-Agent mit studienspezifischem Kontext Kontakt per SMS (und zunehmend auch per Anruf) auf, teilt die vorgeschriebenen Studiendetails mit und beantwortet Fragen. Qualifizierte Leads werden dann zu einer Vorab-Umfrage weitergeleitet, die ihre Eignung feststellt. Wenn die Person geeignet ist, erhält sie über ein Planungs-Widget einen Link zur Terminvereinbarung. Die HIPAA-Compliance (Health Insurance Portability and Accountability Act) wird durch Geschäftspartnervereinbarungen mit Anbietern wie OpenAI gewährleistet, und Patientendaten werden niemals zum Trainieren von Modellen verwendet. Das System lässt sich mit Standardintegrationen integrieren, um die Terminplanung und das Lead-Tracking zu zentralisieren.

Der Übergang vom Prototyp zur Produktion bleibt eine der beständigsten Herausforderungen bei Unternehmens-KI, insbesondere bei agentischen Anwendungen. OpenShift AI unterstützt Unternehmen beim Entwickeln, Ausführen und Verwalten agentischer Anwendungen.

OpenShift AI nutzt zentrale Red Hat Technologien, um eine produktionsreife Basis für agentische Workloads zu bieten. Von zentraler Bedeutung ist dabei das operatorbasierte Modell, das Best Practices für das Deployment codiert und die Plattformkonfiguration automatisiert. Operatoren optimieren verschiedene Bereiche, von der automatischen Skalierung und Beobachtbarkeitsintegration bis hin zum Performance Tuning und horizontalen oder vertikalen Skalierungsstrategien. So können sich Engineering-Teams auf die Entwicklung von Agenten konzentrieren, anstatt sich um das Verwalten der Infrastruktur zu kümmern.

OpenShift AI basiert auf den Funktionen von Red Hat OpenShift und bietet eine Plattform für das Lifecycle Management generativer und prädiktiver KI-Modelle in großem Umfang.

Die native Integration der Plattform mit Komponenten wie Llama Stack und MCP hilft bei der Vereinheitlichung von Entwicklungs- und Bereitstellungspraktiken. Entwicklungsteams können auf der OpenAI-kompatiblen API von Llama Stack aufbauen und problemlos Agenten einsetzen, da sie wissen, dass in lokalen Tests dieselben Schnittstellen unterstützt werden wie in Produktivumgebungen. MCP-Server bieten eine standardisierte Möglichkeit zum Bereitstellen und Verwalten von Tools – mit Framework-übergreifender Kompatibilität und einer robusten Integration in den Sicherheits- und Beobachtbarkeits-Stack von Red Hat.

Sicherheit und Compliance sind integrale Bestandteile von OpenShift AI. Dank des langjährigen Fokus von Red Hat auf regulierte Umgebungen können agentische Anwendungen bereits mit integrierten Richtlinien und rollenbasiertem Zugriff bereitgestellt werden. Integrierte Beobachtbarkeitstools ermöglichen es Teams, die Entscheidungen von Agenten zu verfolgen, Aufrufe von Tools zu überwachen und Analyse-Pipelines zu erstellen, die eine fortlaufende Evaluierung unterstützen.

Use Case

Wie Unternehmen heutzutage Agenten entwickeln

Was ist KI-orientierte Business Process Automation?

Ein Kunde entwickelte einen Beschaffungsassistenten, der mittels MCP durch ERP-APIs (Enterprise Resource Planning) navigieren, Richtliniendokumente interpretieren und Anbietergenehmigungen empfehlen konnte. Der Agent automatisierte Routineschritte wie die Überprüfung der Berechtigung von Anbietern und der Vertragsbedingungen. So konnten Engpässe in Beschaffungs-Workflows reduziert und gleichzeitig die Compliance gewährleistet werden. Er dient als Modell für die Einbettung agentischer Workflows in bestehende Unternehmenssysteme, ohne dass die Kernlogik neu erstellt werden muss.

Moderne agentische Systeme sind bei der Funktionserweiterung von LLMs auf Tools angewiesen. LLMs liefern zwar Reasoning, benötigen aber Tools, um Maßnahmen zu ergreifen, auf Unternehmenssysteme zuzugreifen und Echtzeitinformationen zu erfassen. MCP liefert das fehlende Bindeglied zwischen den Agenten und diesen externen Tools. MCP wurde erst kürzlich eingeführt, hat sich aber schnell als neuer Standard für agentische KI etabliert.

Vor MCP erfolgte die Tool-Integration manuell, uneinheitlich und ließ sich nur aufwendig skalieren. Entwicklungsteams mussten benutzerdefinierten Code schreiben, um zu definieren, wie Agenten APIs finden und mit ihnen interagieren. Dies führte zu Doppelarbeit in verschiedenen Teams, weniger stabilen Updates und einem erhöhten Risiko bei Systemänderungen. MCP standardisiert diesen Prozess mit einer modularen, interoperablen Spezifikation, mit der Agenten Tools zuverlässig erkennen, auswählen und aufrufen können, ähnlich einem USB-C-Standard für KI-Workflows.

Mit MCP stellen Entwicklerinnen und Entwickler Funktionen mithilfe eines gemeinsamen Protokolls als Tools bereit. Diese Tools können APIs, Datenbanken, Geschäftssysteme oder sogar interne Dienstprogramme umfassen. MCP-Server fungieren als Hub, in dem Tools gehostet, dokumentiert und gesichert werden. Agenten können dann diesen Server dynamisch abfragen, die Nutzung des Tools ermitteln und Workflows in mehreren Systemen aufrufen.

Diese Standardisierung ermöglicht eine breitere Beteiligung. Mit einer MCP-basierten Architektur können Teams vorhandene Tooldefinitionen wiederverwenden, das Onboarding beschleunigen und die Plattformfragmentierung reduzieren. Bei kleineren oder größeren LLMs ermöglicht MCP eine konsistentere Nutzung der Tools, ohne dass Modelle neu trainiert oder Logik neu geschrieben werden müssen.

Allerdings bringt MCP auch einige Herausforderungen mit sich. Schlecht formulierte Toolbeschreibungen können Agenten verwirren und zu Fehlfunktionen oder Halluzinationen führen. Es besteht sogar die Gefahr, dass Tools unsichere Prompt-Strings offenlegen oder dass zu weit gefasste Berechtigungen zu einer Angriffsfläche werden.

Red Hat verfügt über eine Roadmap für ein MCP-Gateway, mit dem Sie diese Risiken mindern können, indem Governance, Sicherheitsaspekte und Transparenz direkt in die MCP-Serverarchitektur integriert werden. Werden MCP-Server in OpenShift AI eingesetzt, verfügen sie über die native Integration mit der Richtliniendurchsetzung auf Plattformebene, der rollenbasierten Zugriffskontrolle und den Audit-Mechanismen von Red Hat. Das bedeutet, dass der Zugriff auf über MCP bereitgestellte Tools streng nach Rolle und Namespace verwaltet werden kann und in Einklang mit den Identitäts- und Autorisierungsrichtlinien steht.

Zusätzlich können die in MCP gehosteten Toolbeschreibungen und Prompt-Schemas automatisch mit der Container- und Anwendungssicherheits-Toolchain von Red Hat OpenShift auf Schwachstellen gescannt werden. So können Plattformteams potenziell gefährliche Tool-Konfigurationen identifizieren, wie etwa Tools, die eine Prompt Injection ermöglichen oder sensible Backend-Systeme ohne ordnungsgemäße Eingabevalidierung offenlegen.

Aus operativer Perspektive ermöglichen die Beobachtbarkeits-Tools von Red Hat OpenShift eine kontinuierliche Überwachung der Interaktionen zwischen Agenten und Tools. Teams können Tool-Aufrufmuster anzeigen, Nutzungsmetriken nachverfolgen und Warnungen für anomales Verhalten einrichten. Integrierte Audit-Protokolle bieten eine Nachverfolgbarkeit über die gesamte Tool-Nutzung und Entscheidungskette hinweg und unterstützen Unternehmen dabei, interne und externe Compliance-Anforderungen zu erfüllen.

Use Case

Wie Unternehmen heutzutage Agenten entwickeln 

Kundensupport in großem Umfang

Ein Unternehmen für Cybersicherheit hat ein KI-gestütztes Support-System zur Automatisierung von Live-Chat und Ticket-Lösung implementiert, um Wartezeiten zu verkürzen und die Belastung der menschlichen Agenten zu verringern. Ein Aufnahmeagent verarbeitet die Abfrage, die dann an einen Klassifizierungsagenten weitergeleitet wird, der mithilfe von Keyword-Listen und einer gen KI-Stimmungsanalyse Sentiment Detection, Dringlichkeitsanalysen und Überprüfungen auf obszöne Inhalte durchführt. Problematische Sprache löst eine manuelle Überprüfung aus. 

Als nächstes generiert ein Problemlösungsagent mit Retrieval-Augmented Generation (RAG) Antworten, die auf internen Dokumente und früheren Tickets basieren. Falls erforderlich, leitet ein Routing-Agent nicht gelöste oder nicht vertrauenswürdige Tickets an einen menschlichen Supportmitarbeiter weiter. Die von der KI vorgeschlagenen Antworten werden von menschlichen Agenten überprüft, insbesondere für Compliance-relevante Inhalte. Airtable-Protokolle zeichnen Überschreibungen und Fehler auf und unterstützen so die laufende Verbesserung des Modells. Nach dem Abschluss wird die Stimmung neu bewertet, um die Kundenzufriedenheit zu bestätigen.

Llama Stack ist die einheitliche KI-Control Plane von Red Hat, ein OpenAI-kompatibler API-Server, mit dem die Entwicklung, Bereitstellung und Verwaltung agentischer KI-Anwendungen optimiert werden kann. Als zentrale Schnittstelle für Inferenzen, Speicher, Tool-Orchestrierung und Evaluierung bietet Llama Stack Entwicklungsteams die Konsistenz und Flexibilität, die sie zum Entwickeln ausgereifter Agenten in verschiedenen Umgebungen brauchen.

Im Gegensatz zu vielen anderen Lösungen, bei denen es sich in der Regel um gehostete Services handelt, können Unternehmen mit Llama Stack ein gehostetes IT-Erlebnis auf eigener Hardware oder eigenen Clustern erzeugen. Für Unternehmen, die Datenhoheit benötigen, spezielle Infrastrukturanforderungen haben oder die Bindung an einen bestimmten Anbieter vermeiden möchten, ist diese Flexibilität von entscheidender Bedeutung.

Im Kern bietet Llama Stack eine Standard-API-Schicht, die den gesamten agentischen Lifecycle unterstützt, einschließlich Kompatibilität mit OpenAI-APIs über die reine Inferenz hinaus. Es lässt sich direkt in OpenShift AI integrieren und unterstützt allgemeine Agentenaufgaben wie Retrieval-Augmented Generation (RAG), Sicherheit, Bewertung, Telemetrie und kontextbewusste Inferenz. Entwicklungsteams können mit einem schlanken lokalen Deployment beginnen und dann auf eine unternehmensgerechte Infrastruktur skalieren, wobei sie durchgehend dieselben APIs, Libraries und Schnittstellen verwenden können.

Llama Stack ist mit den Tool-Schnittstellen von OpenAI API-kompatibel und funktioniert mit vielen bekannten und gängigen Frameworks. So können Teams vorhandene Agenten und Workflows ohne Umstrukturierung integrieren und gleichzeitig von einer konsistenten Oberfläche und Lifecycle Managementtools in verschiedenen Umgebungen profitieren.

Was Llama Stack von anderen Anbietern unterscheidet, sind die Open Source-API-Schicht und -Server, die die Entwicklung von KI-Anwendungen für verschiedene Anbieter standardisieren. Die Lösung unterstützt OpenAI-kompatible Inferenz zusammen mit zusätzlichen APIs für andere KI-Funktionen wie Bewertungen, Post-Training und Vektorspeicherungen sowie Shields für RAG- und Agent-Workflows. Llama Stack kann in selbst gehosteten Umgebungen, On-Premise oder in der Cloud ausgeführt werden, wodurch Unternehmen flexibel bereitstellen können.

Innerhalb von OpenShift AI verwaltet ein Kubernetes-Operator Lifecycle-Aufgaben von Llama Stack wie die automatische Skalierung, Beobachtbarkeit und Zugriffskontrolle. So stehen Entwicklungs- und Plattformteams einheitliche Tools für die zuverlässige Skalierung von Agenten zur Verfügung. Llama Stack bietet außerdem native Unterstützung für Evaluierung und Telemetrie, einschließlich OpenTelemetry, um Teams bei der Validierung der Performance von KI-Systemen, beim Überwachen von Sicherheitsmetriken und Verfolgen des Agentenverhaltens in Produktivumgebungen zu unterstützen.

Zusätzlich zu Inferenzen unterstützt Llama Stack auch die vielen Komponenten agentischer Systeme. Es kann als Brücke zwischen gehosteten und lokalen Modellen dienen, den Zugriff auf Sicherheitstools wie TrustyAI standardisieren und die Interaktion mit MCP-Servern erleichtern. Entwicklungsteams erhalten eine konsistente Plattform zum Testen, Iterieren und Operationalisieren von Agenten, unabhängig davon, ob sie Proof of Concept-Demos durchführen oder IT-Workflows für die Produktion automatisieren.

Use Case

Wie Unternehmen heutzutage Agenten entwickeln 

Entwicklungsproduktivität

Ein Softwareunternehmen hat einen Code-Migrationsassistenten entwickelt, der traditionelle Java-Anwendungen analysiert und Updates empfiehlt, um diese an moderne Frameworks anzupassen. Der Agent verwendete Llama Stack für Inferenzen und in MCP integrierte Tools, um die Kompatibilität zu überprüfen und Upgrade-Pfade vorzuschlagen. So konnten der Migrationsprozess optimiert, die technischen Schulden reduziert und die Resilienz der Anwendungen verbessert werden. Außerdem konnten sich die Entwicklungsteams auf die Innovation von Funktionen konzentrieren, anstatt Zeit für das Umschreiben von Legacy-Code aufzuwenden.

Agentische KI verspricht intelligentere und anpassungsfähigere Anwendungen. Doch ohne Standardisierung riskieren Unternehmensteams Fragmentierung, Ineffizienz und operative Risiken. Red Hat AI bietet das erforderliche Framework, um diese Systeme zuverlässig zu entwickeln. Mit Komponenten wie OpenShift AI, MCP und Llama Stack bietet Red Hat eine konsistente Basis, um KI-Agenten vom Proof of Concept bis in die Produktion zu bringen.

Durch die Zusammenführung von Reasoning, Toolnutzung, Speicher, Sicherheit und Bewertung in eine einheitliche Plattform vereinfacht Red Hat AI das Experimentieren, Skalieren und Operationalisieren von KI-Agenten.

• Entwicklungsteams erhalten Zugriff auf produktionsgerechte APIs.
• Plattformteams können Lifecycles verwalten und Sicherheit stärken.
• Organisationen profitieren von offenen Standards, die ihre Investitionen schützen.

Unabhängig davon, ob es sich um das Bereitstellen eines einfachen internen Bots oder die Architektur von Multiagent-Systemen handelt – mit Red Hat AI sind Sie in der Lage, sicherheitsorientierte, unternehmensgerechte agentische Anwendungen wiederholbar und nach Ihren Bedingungen zu entwickeln.