KI/ML in Red Hat OpenShift

KI/ML in Red Hat® OpenShift® beschleunigt KI/ML-Workflows und die Bereitstellung von KI-basierten intelligenten Anwendungen mit selbst gemanagtem Red Hat OpenShift oder unserem KI/ML Cloud-Service.

Red Hat OpenShift enthält wichtige Funktionen, mit denen Sie MLOps (Machine Learning Operations) konsistent in Rechenzentren, Public Cloud Computing- und Edge Computing-Umgebungen einsetzen können.

Durch die Anwendung von DevOps- und GitOps-Prinzipien automatisieren und vereinfachen Unternehmen den iterativen Prozess der Integration von ML-Modellen in Softwareentwicklungsprozesse, Produktions-Rollout, Überwachung, erneutes Training und erneute Bereitstellung für kontinuierliche Vorhersagegenauigkeit. 

Ein mehrphasiger Prozess, bei dem die Leistung von großen Datenvolumen verschiedenster Art, ausgiebigem Computing und Open Source ML-Tools genutzt werden, um intelligente Anwendungen zu entwickeln.

Der ML-Lifecycle besteht im Allgemeinen aus 4 Schritten:

1. Erfassung und Vorbereitung von Daten zur Sicherstellung der Vollständigkeit und Qualität der Eingabedaten
2. Entwicklung von Modellen einschließlich Training, Tests und Auswahl des Modells mit der höchsten Vorhersagegenauigkeit
3. Integration der Modelle in Anwendungsentwicklungsprozesse und Inferenzen
4. Überwachung und Verwaltung der Modelle zur Messung der Performance und Reaktion auf potenzielle Datenabweichungen in der Produktion

Data Scientists sind in erster Linie für ML-Modellierung verantwortlich und stellen dabei sicher, dass das ausgewählte Modell stets die höchste Genauigkeit bei Vorhersagen bietet. 

Die größten Herausforderungen für Data Scientists:

• Auswahl und Bereitstellung der richtigen ML-Tools (darunter Apache Spark, Jupyter Notebook TensorFlow, PyTorch usw.)
• Komplexität und erforderliche Zeit für Training, Tests, Auswahl und erneutes Training des ML-Modells mit der höchsten Vorhersagegenauigkeit
• Langsame Ausführung von Modell- und Inferenzaufgaben ohne Hardware-Beschleunigung
• Wiederholtes Warten auf Provisionierung und Verwaltung der Infrastruktur durch IT-Operations
• Zusammenarbeit mit Data Engineers und Softwareentwicklungsteams für die Sicherstellung der Datenhygiene und erfolgreiche Bereitstellung des ML-Modells im Anwendungsentwicklungsprozess

Container und Kubernetes sind entscheidend, wenn es um die Beschleunigung des ML-Lifecycles geht. Diese Technologien bieten Data Scientists die beim Trainieren, Testen und Bereitstellen von ML-Modellen so dringend erforderliche Agilität, Flexibilität, Portierbarkeit und Skalierbarkeit.

Red Hat OpenShift

Red Hat OpenShift ist die branchenführende Hybrid Cloud-Plattform für Container und Kubernetes. Sie bietet nicht nur die oben genannten Vorteile, sondern verfügt auch über integrierte DevOps-Funktionen wie OpenShift Pipelines, OpenShift GitOps und Red Hat Quay und lässt sich in Hardware-Beschleuniger integrieren. Dadurch ermöglicht sie eine bessere Zusammenarbeit zwischen Data Scientists und Softwareentwicklungsteams und beschleunigt die Einführung von intelligenten Anwendungen in der gesamten Hybrid Cloud (in Rechenzentren, Public Clouds und am Edge).

Red Hat OpenShift Data Science

Red Hat OpenShift AI ist ein auf KI fokussiertes Portfolio, das Tools für den gesamten Lebenszyklus von KI/ML-Experimenten und -Modellen enthält und Red Hat OpenShift Data Science umfasst.

Red Hat OpenShift Data Science ist ein selbst gemanagter und gemanagter Cloud-Service für Data Scientists sowie Teams, die intelligente Anwendungen entwickeln. Dieser bietet eine vollständig unterstützte Sandbox, in der ML-Modelle (Machine Learning) im Handumdrehen in der Public Cloud entwickelt, trainiert und getestet werden können, bevor sie in der Produktivumgebung bereitgestellt werden.

Unterstützung von Data Scientists

• Konsistentes Self-Service-Cloud-Erlebnis für Data Scientist in der gesamten Hybrid Cloud
• Flexibilität und Portierbarkeit für die Nutzung der containerisierten ML-Tools ihrer Wahl zum schnellen Entwickeln, Skalieren, Reproduzieren und Teilen von ML-Modellen
• Verwendung der relevanten ML-Tools über Red Hat zertifizierte Kubernetes Operators sowohl für die selbst gemanagte Option als auch über unseren KI-Cloud-Service
• Kein Warten auf die Provisionierung der Infrastruktur durch IT-Teams für iterative, rechenintensive ML-Modellierungsaufgaben
• Keine Bedenken hinsichtlich Bindung an bestimmte Cloud-Anbieter mit dem jeweiligen Set an ML-Tools
• Enge Integration in CI/CD-Tools zur schnellen, iterativen Bereitstellung von ML-Modellen ganz nach Bedarf

Beschleunigung rechenintensiver ML-Modellierungsaufgaben

Durch nahtlose Integrationen in beliebte Hardware-Beschleuniger wie NVIDIA GPUs über Red Hat zertifizierte GPU-Operatoren kann OpenShift die hohen Rechenressourcen-Anforderungen problemlos erfüllen. Diese sind für die Auswahl des besten ML-Modells mit der höchsten Vorhersagegenauigkeit sowie für die Ausführung von ML-Inference Aufgaben erforderlich, wenn das Modell in der Produktion neue Daten verarbeitet.

Entwicklung intelligenter Apps

Dank der integrierten DevOps-Funktionen von OpenShift können Sie mit MLOps die Bereitstellung von KI-basierten Anwendungen beschleunigen. Außerdem wird der iterative Prozess vereinfacht, bei dem die ML-Modelle integriert und für eine bessere Vorhersagegenauigkeit kontinuierlich neu bereitgestellt werden.    

Die Ausweitung der DevOps-Automatisierungsmöglichkeiten von OpenShift auf den ML-Lifecycle unterstützt die Zusammenarbeit zwischen Data Scientists, Softwareentwicklungs- und IT-Operations-Teams. So können ML-Modelle schneller in die Entwicklung intelligenter Anwendungen integriert werden. Zudem wird dadurch die Produktivität gefördert und das Lifecycle-Management von ML-basierten intelligenten Anwendungen vereinfacht.

• Entwicklung aus der Registry der Container-Modell-Images mit OpenShift Build
• Kontinuierliche iterative Entwicklung von auf intelligenten Anwendungen basierenden ML-Modellen mit OpenShift Pipelines
• Kontinuierliche Bereitstellungsautomatisierung der auf intelligenten Anwendungen basierenden ML-Modelle mit OpenShift GitOps
• Image-Repository zur Versionsverwaltung von Container-Modell-Images und Microservices mit Red Hat Quay

OpenShift unterstützt Unternehmen verschiedenster Branchen dabei, die geschäftliche Weiterentwicklung und geschäftskritische Initiativen zu beschleunigen – durch die Entwicklung intelligenter Anwendungen in der Hybrid Cloud. Die Use Cases umfassen etwa Betrugserkennung, datengestützte Gesundheitsdiagnostik, vernetzte Autos, Erdöl- und Erdgaserschließung, automatisierte Versicherungsangebote und Schadensabwicklung.

Red Hat Data Services wurde entwickelt, um Storage-Anforderungen im Petabyte-Bereich im ML-Lifecycle abzudecken – von der Datenaufnahme und -vorbereitung über die ML-Modellierung bis hin zur Inferenzphase. Das Portfolio von Red Hat Data Services beinhaltet auch Red Hat Ceph Storage, ein Open-Source-SDS-System (Software-Defined Storage), das umfassenden Support für Object, Block und File Storage für Amazon S3 bietet, und auf branchenüblicher Standard-Hardware enorme Skalierbarkeit ermöglicht.

So können Sie beispielsweise skalierbaren Ceph Storage für containerisierte Jupyter Notebooks auf OpenShift über S3 oder persistente Volumes nutzen.

Turkcell, der führende Mobilfunkanbieter in der Türkei, nutzt Red Hat OpenShift als Grundlage für seine KI-gestützten Anwendungs-Workloads. Mit OpenShift konnte das Unternehmen eine reaktionsfähige Infrastruktur erstellen, mit der innovative KI-Anwendungen schneller bereitgestellt und Provisionierungszeiten von Monaten auf Sekunden verkürzt werden. Dadurch sanken die Kosten für KI-Entwicklung und KI-Betrieb um 70 %.​

Die Royal Bank of Canada und ihr KI-Forschungsinstitut Borealis AI haben in Zusammenarbeit mit Red Hat und NVIDIA eine neue KI-Computing-Plattform entwickelt, um das Banking-Erlebnis der Kundinnen und Kunden zu transformieren und mit den schnellen technologischen Veränderungen und den sich ändernden Kundenerwartungen Schritt halten zu können.

Beim Open Data Hub-Projekt handelt es sich um eine funktionale Architektur, die auf Red Hat OpenShift, Red Hat Ceph Storage, Red Hat AMQ Streams und mehreren Upstream-Open-Source-Projekten basiert, um eine offene ML-Plattform mit den notwendigen ML-Tools zu entwickeln.

Die Kombination aus Red Hat OpenShift und der Software-Suite NVIDIA AI Enterprise, die auf NVIDIA-zertifizierten Systemen ausgeführt wird, bietet eine leistungsfähige, skalierbare Plattform, mit der sich vielfältige Use Cases für KI beschleunigen lassen. Die Plattform umfasst wichtige Technologien von NVIDIA und Red Hat, für die sichere und konsistente Bereitstellung, Verwaltung und Skalierung von KI-Workloads in Hybrid Cloud-, Bare Metal- oder virtualisierten Umgebungen.

Transformative Use Cases für KI/ML finden sich in vielen Brachen, darunter im Gesundheitswesen, bei Finanzdienstleistern sowie in der Telekommunikations- und Automobilbranche. Red Hat hat ein robustes Partnernetzwerk aufgebaut und bietet so Komplettlösungen zum Entwickeln, Bereitstellen und Verwalten von ML- und Deep Learning-Modellen für KI-gestützte, intelligente Anwendungen.