Aufbau einer operativen Basis für die Zukunft der generativen KI

Generative künstliche Intelligenz (Gen KI) zieht weiterhin die Aufmerksamkeit der Öffentlichkeit auf sich, und eines ist dabei offensichtlicher denn je: die Innovationsgeschwindigkeit nimmt zu. Innovation zeigt sich nicht nur in den revolutionären Verbesserungen, die an den Gen KI-Modellen selbst vorgenommen werden, sondern auch in den unterstützenden Technologien, durch die sie für Unternehmen relevant werden. Retrieval Augmented Generation (RAG) hat das Fine Tuning als bevorzugten Ansatz von Unternehmen für die Integration von Daten in LLMs (Large Language Models) abgelöst.

Da sich Gen KI so schnell verändert, fühlen sich viele Unternehmen unter Druck. Sie sind überzeugt, dass sie sich für einen KI-Plattformanbieter wie etwa einen Hyperscaler entscheiden und auf eine einzige primäre Cloud für ihre KI-Plattform setzen müssen, um in den unbekannten Gewässern der Gen KI zurechtzukommen. Viele dieser Unternehmen suchen nach einer konsistenten, flexiblen KI-Basis für Gen KI und prädiktive KI, mit der sie die Kernfunktionen zum Erstellen und Verbessern von Modellen bereitstellen, diese in KI-fähigen Anwendungen einsetzen und Modelle verwalten sowie überwachen können. Mit diesem Ansatz können Unternehmen das Risiko eines Vendor Lock-ins reduzieren, da er die Einführung einer KI-Plattform ermöglicht, die flexibel genug ist, um lokal, auf verschiedenen Cloud-Plattformen oder am Edge ausgeführt zu werden. Dadurch können Unternehmen sich an die weitere Entwicklung von Gen KI anpassen. 

Bevor wir Red Hat OpenShift AI als vollständig gemanagten Cloud Service veröffentlichten, zeigten Kunden mit unserem Early Beta-Release großes Interesse an einer lokalen Version dieses Angebots. Heute entscheiden sich mehr als 80 % der Kunden von Red Hat OpenShift AI für die lokale Nutzung der selbst gemanagten Version. Red Hat OpenShift AI ist als Add-On zu Red Hat OpenShift verfügbar, der führenden Anwendungsplattform, die lokal, in den wichtigsten Public Clouds und sogar am Edge ausgeführt werden kann. Daher enthält die Lösung viele der zugrunde liegenden Funktionen von Red Hat OpenShift. Wenn Unternehmen KI wie eine Erweiterung ihrer Anwendungsumgebung behandeln, können sie die Effizienz ihrer Entwicklungsteams und Data Scientists gleichermaßen verbessern. 

Red Hat OpenShift AI im Überblick

Red Hat OpenShift AI bietet in einer zentralen Plattform für Gen KI und prädiktive KI unter anderem folgende Funktionen.

Modelltraining – Projekte

Red Hat OpenShift AI bietet mehrere Workbench-Images und die Möglichkeit, benutzerdefinierte Images über eine Admin-Benutzeroberfläche hinzuzufügen. Die Benutzeroberfläche des Projekts ermöglicht es Nutzenden, Modellentwicklungsdateien, Datenverbindungen und andere Artefakte zu organisieren, die für ein bestimmtes Projekt erforderlich sind. Die Modellentwicklungsdateien können aus standardmäßigen oder benutzerdefinierten Workbench-Images erstellt werden, die Zugriff auf gängige Libraries, Pakete und Tools wie Jupyter Notebooks, PyTorch und RStudio bieten. Projekte können mit spezifischen Berechtigungen geteilt werden, um die Zusammenarbeit mit Kolleginnen und Kollegen zu erleichtern. Mit Projekten können Nutzende außerdem Cluster Storage zum Speichern von Projektdaten konfigurieren und Data Scientists, Entwicklungsteams oder anderen Nutzenden, die zum KI-Lifecycle beitragen, Zugriff auf Funktionen wie Pipelines, Modellbereitstellung und Überwachung gewähren.

Modelltraining – verteilte Workloads

Verteiltes Modelltraining ist eine Methode, bei der mehrere Cluster-Knoten gleichzeitig genutzt werden, um so Modelle schneller und effizienter zu trainieren. Dieser Ansatz kann bei Use Cases für sowohl prädiktives KI-Training als auch Gen KI-Training und -Tuning verwendet werden. Dadurch werden Aufgaben möglich, die rechnerisch sonst nicht durchführbar wären.

Der in Red Hat OpenShift AI integrierte Stack für verteilte Workloads umfasst Trainings- und Validierungstechnologien, Tuning sowie Inferenztechnologien. CodeFlare bietet ein benutzerfreundliches Framework für den Trainings-Stack, das die Orchestrierung und Überwachung von Jobs vereinfacht. Es ist integriert in Technologien wie Ray für verteilte Workloads und Kueue für Job-Planung und -Queuing.

Das Feature für verteilte Workloads bietet eine nahtlose Integration zur Optimierung der Knotennutzung mit erweitertem Support für Beschleuniger. Jobs können priorisiert und verteilt werden, sowohl interaktiv als auch im Batch. Verteilte Workloads können auch innerhalb von Data Science-Pipelines verwendet werden, um die erhöhte Rechenleistung zu nutzen.

GPUs und Beschleuniger

Einer der nützlichsten Vorteile von Red Hat OpenShift AI ist der Self Service-Charakter des GPU-Zugriffs. ITOps-Teams können ihre GPU-Ressourcenumgebung sowohl lokal als auch in der Cloud für Data Scientists und Anwendungsentwicklungsteams vordefinieren und Konfigurationen für ihre Projektaufgaben auswählen. Das Produkt unterstützt eine Reihe von Beschleunigern, darunter NVIDIA-GPUs, Intel Habana Gaudi-Geräte und AMD-GPUs. Mithilfe von Beschleunigerprofilen können Admins verschiedene Arten von Beschleunigern konfigurieren, die für eine Workload am besten geeignet sind. Nutzende können Beschleuniger in Red Hat OpenShift AI in den Benutzeroberflächen für die Modellentwicklung und für die Modellbereitstellung auswählen.

Data Science-Pipelines

Bei den Data Science-Pipelines handelt es sich um ein Pipeline-Tool, das auf ML-Training zugeschnitten ist und auf KubeFlow-Pipelines basiert. Mit dieser Komponente können Data Scientists die Schritte zum Bereitstellen und Testen von Modellen in Entwicklung und Produktion automatisieren. Mit einer Pipeline können sie beispielsweise Daten sammeln und verarbeiten, das Modell trainieren, das vorhandene Modell herunterladen und mit dem neuen Modell vergleichen – und dieses neue Modell an DevTest übergeben, wenn es eine bessere Performance zeigt. Pipelines können wie andere KI-Projektartefakte versioniert, nachverfolgt und gemanagt werden. Zusätzlich steht ein visueller Editor zur Verfügung, mit dem Sie diese Pipelines über eine Drag-and-Drop-Oberfläche erstellen und automatisieren können. Data Science-Pipelines können auch verteilte Workloads ausführen.

Modellbereitstellung

Die Benutzeroberfläche für die Modellbereitstellung ist direkt in das Dashboard von Red Hat OpenShift AI und in die Benutzeroberfläche der Projekte integriert, um Modelle von Anbietern und Frameworks wie Hugging Face, ONNX, PyTorch, TensorFlow und andere bereitzustellen. Die Nutzenden können eine auf KServe oder ModelMesh basierende Modellbereitstellungsplattform auswählen, aus verschiedenen Modellservern und Runtimes wählen, die mit Red Hat OpenShift AI bereitgestellt werden, oder ihre benutzerdefinierten Inferenz-Engines oder Runtimes, wie NVIDIA Triton, integrieren. Cluster-Ressourcen wie CPUs und GPUs lassen sich je nach Anforderungen der Workload skalieren. Der erweiterte Modellbereitstellungs-Stack nutzt Open Source-Technologien wie KServe, Caikit, vLLM und TGIS zur Unterstützung der Modellbereitstellung.

Modellüberwachung

Das Dashboard der Benutzeroberfläche für die Modellüberwachung unterstützt Ops-orientierte Nutzende bei der Überwachung von Betriebs- und Performance-Metriken für Modellserver und bereitgestellte Modelle. Die Visualisierungen der Modellüberwachung umfassen Metriken wie die Anzahl der erfolgreichen und fehlgeschlagenen Inferenzanforderungen, die durchschnittliche Inferenzreaktionszeit und die spezifische Compute-Auslastung. Anhand dieser Daten können die Nutzenden geeignete Maßnahmen ergreifen und beispielsweise Rechenressourcen hinzufügen, wenn die Anzahl der Anfragen und die durchschnittliche Antwortzeit im Laufe der Zeit zunehmen.

Integration von Technologiepartnern

Neben früheren, direkt in Red Hat OpenShift AI integrierten Lösungen von Anbietern wie Starburst, Anaconda, Pachyderm, NVIDIA und Intel, sind auch erweiterte Integrationen für eine Vielzahl von Use Cases für Gen KI geplant. Um diese bereitzustellen, arbeitet Red Hat mit Partnern wie AMD, Elastic, Run:ai und Stability AI zusammen.

Mit Hinblick auf die Hardwareplattform hat Red Hat optimierten Support und Integrationen mit Intel® Enterprise AI und NVIDIA NIM-Microservices auf Red Hat OpenShift AI angekündigt. Dell hat Verbesserungen an Dell APEX Cloud Platform für Red Hat OpenShift vorgenommen, um Use Cases für KI mit Red Hat OpenShift AI zu ermöglichen. Zusätzlich dazu hat Cisco ein Cisco Validated Design für MLOps auf Red Hat OpenShift AI erstellt.

Red Hat OpenShift AI ist eine Basiskomponente in IBM watsonx.ai, die grundlegende KI-Tools und -Services für Gen KI-Workloads bereitstellt. Watsonx.ai bietet ein unternehmensgerechtes Studio für KI-Entwicklungsteams zur Bereitstellung von Gen KI-Anwendungen mit geringen oder ohne Code-Anforderungen, benutzerfreundlichen Workflows für die Modellentwicklung und Zugriff auf eine Library mit IBM-Basismodellen und kuratierten Open Source-Modellen. Red Hat OpenShift und Red Hat OpenShift AI sind eingebettete technische Voraussetzungen für die Software watsonx.ai.

Isolierte Umgebungen

Aus Gründen der Sicherheit und der Compliance mit gesetzlichen Vorschriften benötigen viele Kunden von Red Hat OpenShift AI getrennte Deployments. Für Organisationen aus Branchen wie Behörden, Finanzdienstleistungen, Gesundheitswesen und Fertigung ist die Unterstützung von Air-Gap-Installationen erforderlich. Getrennte Cluster befinden sich normalerweise in einem eingeschränkten Netzwerk, oft hinter einer Firewall. Dadurch werden Deployments wesentlich schwieriger, da für das Image Mirroring private Registries unterstützt werden müssen.

Edge

Eine der wichtigsten Bewährungsproben für eine KI-Plattform ist ihre Fähigkeit, Edge-Umgebungen zu unterstützen. Durch die Modellbereitstellung von Red Hat OpenShift AI am Edge kann das Deployment von KI-Modellen sicher, konsistent und in großem Umfang auf Remote-Standorte ausgeweitet werden.  Die Modellbereitstellung am Edge kann nicht nur das Deployment von Modellen am Edge vereinfachen, sondern auch für mehr Konsistenz in den einzelnen Umgebungen sorgen und den Inferenzprozess am Edge schützen. Diese Funktion steht nur für Red Hat OpenShift mit einem Knoten zur Verfügung.

Testen Sie Red Hat OpenShift AI in Ihrem eigenen Cluster und erfahren Sie mehr über unsere Patterns, Demos und Rezepte zu Gen KI und prädiktiver KI sowie über den Aufbau einer operativen Basis für Gen KI.