Was Sie nicht sehen, kann Sie teuer zu stehen kommen: Warum Open Source bei der Unternehmens-KI so wichtig ist

In meinem vorherigen Artikel habe ich KI-Inferenz mit dem Nervensystem eines KI-Projekts verglichen – mit der kritischen, oft unsichtbaren Infrastruktur, die das Benutzererlebnis bestimmt. Egal, ob es sich um einen Chatbot oder eine komplexe Anwendung handelt, das Prinzip ist dasselbe: Wenn das Nervensystem versagt, versagt auch alles andere. 

Aber wie wir wissen, funktioniert ein Nervensystem nicht isoliert. Es ist vom Rest des Körpers abhängig, und die unzähligen anderen Systeme arbeiten harmonisch zusammen. Mit Unternehmens-KI verhält es sich im Grunde ähnlich. Einzelne Modelle, isolierte Infrastrukturkomponenten, fragmentierte Orchestrierung oder getrennte Anwendungen können für sich genommen keinen nennenswerten Mehrwert bieten. Eine echte Wirkung stellt sich erst dann ein, wenn diese Elemente sich zu einem zusammenhängenden, leistungsstarken Ganzen verbinden. 

Die Risiken der Black Box

Es gibt viele Wege zur KI-Einführung. Einige beginnen mit geschlossenen, sogenannten „Black-Box“-Systemen: vorpaketierte Plattformen, die eine einfache Einrichtung ermöglichen. Sie können ein guter Einstiegspunkt sein, sind aber auch mit Kompromissen verbunden. Wenn Sie nicht sehen können, wie ein Modell trainiert wurde, kann es schwierig sein, sein Verhalten zu erklären, Verzerrungen anzugehen oder die Genauigkeit in Ihrem Kontext zu überprüfen. Eine IBM-Umfrage aus dem Jahr 2025 ergab, dass 45 % der befragten Unternehmen die Datengenauigkeit oder -verzerrung als größtes Hindernis bei der Einführung von KI nennen. Wenn Sie keinen Einblick in das System haben, können Sie den Ergebnissen nicht vertrauen. Anpassungen beschränken sich dabei oft auf oberflächliches Fine Tuning oder Prompt-Optimierungen. So ist es schwierig, das Modell wirklich an Ihre geschäftlichen Anforderungen anzupassen.

Noch wichtiger ist, dass Sie selten kontrollieren, wo und wie diese Modelle ausgeführt werden. Sie sind an die Infrastruktur eines einzigen Anbieters gebunden. Sie sind gezwungen, die digitale Souveränität einzubüßen und die Roadmap eines anderen Anbieters zu akzeptieren. Die Kompromisse zeigen sich schnell: Kosten, die Sie nicht optimieren können, Fragen von Endbenutzenden nach dem „Warum“, die Sie nicht beantworten können, und Compliance-Risiken, wenn Behörden fragen, wo sensible Daten verarbeitet werden. 

Open Source-Technologie bietet einen anderen Ansatz, der auf Transparenz und Flexibilität aufbaut. Sie können einen Blick hinter die Kulissen werfen, die Modelle mit Ihren eigenen Daten anpassen und sie in der Umgebung ausführen, die für Ihr Unternehmen am sinnvollsten ist. Community-Projekte wie vLLM und llm-d (zur Optimierung der Inferenz) sowie InstructLab (zur Anpassung und Feinabstimmung von Modellen) sind starke Beispiele dafür, wie offene Zusammenarbeit Auswahl und Kontrolle ermöglicht. Diese Art von Kontrolle macht den Unterschied aus, ob Sie Ihre KI-Strategie steuern oder zu spät erkennen, dass jemand anderes sie für Sie gesteuert hat.

Red Hat AI

Dies ist die Philosophie hinter Red Hat AI: einem Portfolio von Produkten, die nicht nur entwickelt wurden, um Sie bei der Entwicklung von KI zu unterstützen, sondern auch, um dafür zu sorgen, dass die einzelnen Teile miteinander funktionieren. Schließlich geht es darum, wie wir diese Teile miteinander verbinden, die letztendlich die Agilität, Vertrauenswürdigkeit und Souveränität Ihrer IT- und KI-Strategie ausmachen.

Das KI-Portfolio von Red Hat umfasst:

• Red Hat AI Inference Server: bietet konsistente, schnelle und kostengünstige Inferenz. Die zugehörige Runtime, vLLM, maximiert den Durchsatz und minimiert die Latenz. Ein optimiertes Modell-Repository beschleunigt die Modellbereitstellung, während ein LLM-Kompressor dazu beiträgt, die Rechennutzung zu reduzieren und gleichzeitig die Genauigkeit zu erhalten.
• Red Hat Enterprise Linux AI: bietet eine Basismodellplattform für die Ausführung von LLMs in individuellen Serverumgebungen. Die Lösung umfasst Red Hat AI Inference Server, der eine unveränderliche, speziell für Inferenz optimierte Appliance bietet. Durch die Kombination von Betriebssystem und Anwendung erleichtert RHEL AI Day-1-Operationen zur Optimierung der Modellinferenz in der Hybrid Cloud.
• Red Hat OpenShift AI: bietet eine KI-Plattform, mit der Sie KI-gestützte Anwendungen sowie Prognose- und Basismodelle in großem Umfang für Hybrid Cloud Umgebungen entwickeln, trainieren, optimieren, bereitstellen und überwachen können. Bei der Implementierung bewährter KI-Lösungen können Unternehmen mit Red Hat OpenShift AI Innovationen beschleunigen, die betriebliche Konsistenz fördern und den Zugriff auf Ressourcen optimieren. 

Red Hat AI basiert auf Open Source und wird von unternehmensgerechtem Support unterstützt. So können Ihre KI-Komponenten in Rechenzentrums-, Cloud- und Edge-Umgebungen nahtlos zusammenarbeiten. Mit diesem Ansatz können Sie jedes Modell auf einem beliebigen Beschleuniger und in einer beliebigen Cloud ausführen, ohne aktuelle oder zukünftige IT-Entscheidungen zu beeinträchtigen.

Mit Red Hat AI können Sie Ihre bevorzugte Cloud auswählen, Ihre gewünschten Accelerators verwenden und die Tools erweitern, die Sie bereits haben. Die Plattform lässt sich an Ihre bestehende Umgebung anpassen und behält gleichzeitig die Flexibilität, die Sie für zukünftige Entwicklungen benötigen.

Mehrwert im gesamten Ökosystem

Für Partner bietet Red Hat AI die Möglichkeit, Lösungen bereitzustellen, die sich direkt in die Umgebungen einfügen, denen ihre Kunden bereits vertrauen, und das ohne kostspielige Nacharbeiten oder Unterbrechungen. Dieselbe Offenheit, die Unternehmen Flexibilität ermöglicht, hilft auch Partnern, die Einführung zu beschleunigen und konsistentere Erlebnisse bereitzustellen. Offenheit schafft eine echte Win-Win-Situation: Unternehmen erhalten Kontrolle und Agilität, während Partner ihre Chancen und Gewinne erweitern, ohne an die Playbooks eines einzelnen Anbieters gebunden zu sein. Das Ergebnis ist eine schnellere Wertschöpfung im gesamten Ökosystem.

Die DenizBank zeigt, wie dies in der Praxis aussieht. Vor der Einführung von OpenShift AI waren die Data Scientists mit einer manuellen Umgebung beschäftigt, in der die Einrichtung von Abhängigkeiten und die Verwaltung der Infrastruktur langsam und fehleranfällig war. Indem sie OpenShift AI auf ihrer bestehenden Plattform aufsetzen und GitOps nutzen, um den gesamten KI-Lifecycle von den Experimenten bis zur Produktion zu verwalten, konnten sie die Einrichtungszeit für die Umgebung von einer Woche auf gerade einmal 10 Minuten verkürzen. Das Deployment neuer Microservices und Modelle verkürzte sich von Tagen auf Minuten. Mehr als 120 Data Scientists arbeiten jetzt mit Self Service-Umgebungen und standardisierten Tools und können GPU-Ressourcen effizienter nutzen. Diese Geschwindigkeit, Ausrichtung und Skalierbarkeit können erreicht werden, wenn unternehmensfähige KI-Stacks aufeinander abgestimmt sind.

KI als Gemeinschaftsleistung

Hier wird die Story wichtiger als jedes einzelne Produkt. KI in großem Umfang war noch nie etwas, das ein Unternehmen alleine bewältigen konnte. Dazu gehören Infrastruktur, Beschleuniger, Orchestrierungsschichten, Open Source-Projekte, Unternehmensplattformen und vor allem die Communities, die diese miteinander verbinden.

Dauerhafte Technologien werden nicht isoliert entwickelt. Sie werden offen entwickelt, von der Community getestet und an Use Cases angepasst, die ein einzelner Anbieter nicht erwarten konnte. Dadurch sind sie resilienter und können in der Praxis besser genutzt werden. So wurde Linux zum Rückgrat der Unternehmens-IT und so wird Open Source die nächste Ära der KI prägen.

Die KI-Entwicklung sieht für jedes Unternehmen anders aus. Unabhängig davon, ob Sie experimentieren, skalieren oder operationalisieren, mit Red Hat AI können Sie Ihr Ziel schneller erreichen. Erfahren Sie mehr über das Portfolio oder kontaktieren Sie uns, um über den für Sie passenden Weg zu sprechen.