Überblick
Kubernetes kann Sie bei Ihren KI/ML-Workloads unterstützen, indem es Code zur Verfügung stellt, der in vielen verschiedenen Umgebungen konsistent reproduzierbar, portierbar und skalierbar ist. Kubernetes ist eine Open Source-Plattform, die Linux-Container-Abläufe automatisiert, indem sie viele manuelle Prozesse eliminiert, die mit dem Deployment und der Skalierung von containerisierten Anwendungen einhergehen. Kubernetes ist entscheidend, wenn es um die Optimierung des KI/ML-Lifecycles geht, da es Data Scientists die beim Trainieren, Testen und Bereitstellen von ML-Modellen erforderliche Agilität, Flexibilität, Portierbarkeit und Skalierbarkeit bietet.
Die Rolle von Containern in der KI/ML-Entwicklung
Bei der Entwicklung von Anwendungen, die Machine Learning-fähig sind, gibt es keinen linearen Workflow. Die Phasen der Forschung, Entwicklung und Produktion sind in ständiger Bewegung, da Teams nach dem CI/CD-Prinzip arbeiten (Continuous Integration/Continuous Delivery). Dieser Prozess beinhaltet das Erstellen, Testen, Zusammenfügen und Bereitstellen neuer Daten, Algorithmen und Versionen einer Anwendung. Dies sorgt für viele verschiedene Puzzleteile, die sich oft nur schwer verwalten lassen. Hier kommen Container ins Spiel.
Container sind eine Linux-Technologie, mit der Sie Anwendungen zusammen mit den zur Ausführung benötigten Libraries und Abhängigkeiten paketieren und isolieren können. Container benötigen kein komplettes Betriebssystem, sondern nur die genauen Komponenten, die zur Ausführung erforderlich sind. Dadurch sind sie schlank und portierbar. Das ermöglicht eine vereinfachte Bereitstellung für Abläufe und gibt Entwicklungsteams die Sicherheit, dass ihre Anwendungen auf verschiedenen Plattformen oder Betriebssystemen auf dieselbe Art und Weise ausgeführt werden.
Ein weiterer Vorteil von Containern ist, dass sie dazu beitragen, Konflikte zwischen Ihren Entwicklungs- und Operations-Teams zu reduzieren, da die Zuständigkeiten getrennt sind. Wenn Entwicklungsteams sich auf ihre Apps und Operations-Teams sich auf die Infrastruktur konzentrieren können, sorgt dies für eine nahtlose und einfache Integration von neuem Code in eine Anwendung, die im Laufe Ihres Lifecycles wächst und sich verändert.
Red Hat Ressourcen
Vorteile von Kubernetes für KI/ML-Workloads
Skalierbarkeit: Mit Kubernetes können Nutzende ML-Workloads je nach Bedarf vertikal oder horizontal skalieren. So können sie dafür sorgen, dass ML-Pipelines umfangreiche Verarbeitungs- und Trainingsaufgaben übernehmen können, ohne andere Elemente des Projekts zu beeinträchtigen.
Effizienz: Kubernetes optimiert die Ressourcenzuweisung, indem Workloads auf der Basis ihrer Verfügbarkeit und Kapazität auf Nodes verteilt werden. Durch eine gezielte Nutzung der Computerressourcen können Nutzende niedrigere Kosten und eine höhere Performance erwarten.
Portierbarkeit: Kubernetes bietet eine standardisierte, plattformunabhängige Umgebung, mit der Data Scientists ein ML-Modell entwickeln und in mehreren Umgebungen und Cloud-Plattformen bereitstellen können. Sie müssen sich also keine Gedanken über Kompatibilitätsprobleme und Vendor Lock-in machen.
Fehlertoleranz: Dank der integrierten Fehlertoleranz- und Selbstreparaturfunktionen können sich Nutzende darauf verlassen, dass Kubernetes auch im Falle eines Hardware- oder Softwarefehlers ML-Pipelines weiter ausführt.
Bereitstellung von ML-Modellen auf Kubernetes
Der Machine Learning-Lifecycle besteht aus vielen verschiedenen Elementen, die sich bei einer separaten Verwaltung nur zeitaufwendig und ressourcenintensiv ausführen und managen lassen. Mit einer Kubernetes-Architektur können Organisation Teile des ML-Lifecycles automatisieren. Dadurch ist kein manuelles Eingreifen mehr nötig, und die Effizienz kann gesteigert werden.
Toolkits wie Kubeflow können implementiert werden, um Entwicklungsteams bei der Optimierung und Bereitstellung der trainierten ML-Workloads auf Kubernetes zu unterstützen. Kubeflow löst viele der Herausforderungen bei der Orchestrierung von ML-Pipelines und bietet Tools sowie APIs, die den Trainings- und Deployment-Prozess von ML-Modellen in großem Umfang vereinfachen. Kubeflow hilft weiterhin bei der Standardisierung und Organisation von MLOps (Machine Learning Operations).
Wie Red Hat helfen kann
Kubernetes kann Sie bei der Optimierung Ihrer KI/ML-Workloads unterstützen. Allerdings benötigen Sie trotzdem eine Plattform, mit der Sie experimentieren und Modelle sowie Ihre Anwendungen bereitstellen können.
Red Hat® AI, unser KI-Produktportfolio, basiert auf den vertrauenswürdigen Lösungen, die unsere Kunden bereits nutzen. Dank dieser Basis bleiben unsere Produkte auch weiterhin zuverlässig, flexibel und skalierbar.
Mit Red Hat AI können Unternehmen:
- KI schnell einführen und Innovationen schaffen
- Die Komplexitäten beim Bereitstellen von KI-Lösungen umgehen
- Anwendungen in vielen verschiedenen Umgebungen bereitstellen
Flexibilität bei der Skalierung
Red Hat AI umfasst Red Hat OpenShift® AI, eine integrierte MLOps-Plattform, mit der Sie den Lifecycle von prädiktiven und generativen KI-Modellen verwalten können.
Diese KI-Plattform bietet einen Ort, an dem Sie KI/ML-Workloads in On-Premise-Rechenzentren oder näher am Speicherort der Daten erstellen, trainieren, bereitstellen und überwachen können. So wird das Skalieren von Abläufen in der Cloud oder am Edge bei Bedarf vereinfacht.
Durch die Kombination von Kubernetes mit Red Hat AI bleibt Ihr Team beim Bereitstellen von KI-Anwendungen in Hybrid Cloud-Umgebungen flexibel.
Lösungs-Pattern: KI-Apps mit Red Hat und NVIDIA AI Enterprise
Entwickeln einer RAG-Anwendung
Red Hat OpenShift AI ist eine Plattform für das Entwickeln von Data Science-Projekten und das Bereitstellen KI-gestützter Anwendungen. Sie können sämtliche Tools integrieren, die für die Unterstützung von Retrieval-Augmented Generation (RAG), einer Methode zum Abrufen von KI-Antworten aus Ihren eigenen Referenzdokumenten, erforderlich sind. Wenn Sie OpenShift AI mit NVIDIA AI Enterprise kombinieren, können Sie mit Large Language Models (LLMs) experimentieren und so das optimale Modell für Ihre Anwendung finden.
Erstellen einer Pipeline für Dokumente
Damit Sie RAG nutzen können, müssen Sie Ihre Dokumente zunächst in eine Vektordatenbank aufnehmen. In unserer Beispielanwendung integrieren wir eine Anzahl von Produktdokumenten in eine Redis-Datenbank. Da sich diese Dokumente häufig ändern, können wir für diesen Prozess eine Pipeline erstellen, die wir regelmäßig ausführen, damit wir immer die aktuellsten Versionen der Dokumente zur Verfügung haben.
Durchsuchen des LLM-Katalogs
Mit NVIDIA AI Enterprise können Sie auf einen Katalog verschiedener LLMs zugreifen. So können Sie verschiedene Möglichkeiten ausprobieren und das Modell auswählen, das die optimalen Ergebnisse erzielt. Die Modelle werden im NVIDIA API-Katalog gehostet. Sobald Sie ein API-Token eingerichtet haben, können Sie ein Modell mit der NVIDIA NIM Model Serving-Plattform direkt über OpenShift AI bereitstellen.
Auswählen des richtigen Modells
Beim Testen verschiedener LLMs können Ihre Nutzerinnen und Nutzer die einzelnen generierten Antworten bewerten. Sie können ein Grafana Monitoring Dashboard einrichten, um die Bewertungen sowie die Latenz- und Antwortzeiten der einzelnen Modelle zu vergleichen. Anhand dieser Daten können Sie dann das optimale LLM für den Produktionseinsatz auswählen.
15 Gründe für die Einführung von Red Hat OpenShift Virtualization
Erfahren Sie, wie Red Hat OpenShift Virtualization Ihre IT-Abläufe mit einer Plattform für virtuelle Maschinen und Container vereinheitlichen und vereinfachen kann.
