KI in der Produktion für Private und Hybrid Clouds
Entwicklung, Training und Deployment von KI-Modellen und -Anwendungen
Red Hat® OpenShift® AI ist eine MLOps-Plattform, mit der Sie KI-Modelle und -Anwendungen in Private Cloud- und Hybrid Cloud-Umgebungen in großem Umfang entwickeln, trainieren und bereitstellen können. OpenShift AI bietet Unternehmen integrierte gängige Open Source- und Drittanbietertools für die effiziente Modellierung sowohl von generativer KI (gen KI) und prädiktiver KI als auch von künstlicher Intelligenz und Machine Learning (KI/ML). Die Lösung bietet eine Open Source-Plattform mit entsprechenden Tools für die gemeinsame Entwicklung experimenteller Modelle. Diese Modelle lassen sich mit OpenShift AI zudem in einem containerfähigen Format konsistent in mehreren Produktivumgebungen bereitstellen – Public und Private Cloud, On-Premise und am Edge.
Red Hat AI ist zentraler Bestandteil von OpenShift AI und bietet IT-Operations-Teams und Platform Engineers eine einfach zu verwaltende, skalierbare und sicherheitsorientierte Umgebung. Data Scientists und AI Engineers profitieren von einer umfassenden, einheitlichen Plattform für die Entwicklung und Bereitstellung von KI-Lösungen in großem Umfang.
OpenShift AI unterstützt gen KI-Basismodelle und ermöglicht so das Fine Tuning und die Nutzung der Modelle mit Ihren persönlichen Daten. Workloads können standortunabhängig auf mehrere Red Hat OpenShift Cluster verteilt werden. Die Plattform ist in Red Hat OpenShift integriert und baut darauf auf, was die KI-Hardwarebeschleunigung vereinfacht. Sie unterstützt CPU- und GPU-basierte (Central and Graphic Processing Units) Hardwareinfrastrukturen, einschließlich NVIDIA- und AMD-GPUs sowie Intel XPUs – sowohl On-Premise als auch in souveränen Clouds oder Public Clouds.
Tabelle 1. Features und Vorteile von Red Hat OpenShift AI
Highlights
Profitieren Sie von einer vereinfachten KI-Einführung in Ihrem Unternehmen, einer höheren KI-Nutzung und mehr Flexibilität bei KI-Initiativen.
Sorgen Sie für operative KI/ML-Konsistenz in mehreren Teams durch ein konsistentes Benutzererlebnis, das AI Engineers, Data Scientists, Data Engineers und DevOps-Teams eine effektive Zusammenarbeit ermöglicht.
Die Lösung bietet Ihnen Flexibilität und Konsistenz beim Entwickeln, Bereitstellen und Verwalten von KI in großem Umfang in verschiedenen Hardware- und Hybrid Cloud-Umgebungen und berücksichtigt dabei Datenbeschränkungen, Datenschutz, Sicherheit und Kostenkontrolle.
Features | Vorteile |
Modellentwicklung und -anpassung | Eine interaktive JupyterLab-Schnittstelle mit KI/ML-Libraries und -Workbenches. Umfasst die Datenaufnahme, die Generierung synthetischer Daten, das InstructLab-Toolkit und RAG (Retrieval-Augmented Generation) für eine private Datenverbindung. |
Modelltraining und -experimente | Strukturiert Entwicklungsdateien und -artefakte. Unterstützt verteilte Workloads für effizientes Training und Fine Tuning. Beinhaltet Nachverfolgung von Experimenten und vereinfachte Hardwarezuweisung. |
Intelligente GPUs und Hardwaregeschwindigkeit
| Self Service-Zugriff auf GPUs. Intelligente GPU-Nutzung für Workload-Planung, Kontingentverwaltung, vorrangigen Zugriff und Nutzungstransparenz durch Hardwareprofile. |
KI-Pipelines | Kann die Bereitstellung und das Testen von Modellen automatisieren. Pipelines werden versioniert, nachverfolgt und gemanagt, um Nutzungsfehler zu reduzieren und die Experimentier- und Produktions-Workflows zu vereinfachen. |
Optimierte Modellbereitstellung | Stellt Modelle von verschiedenen Anbietern und Frameworks über ein vLLM (Virtual Large Language Model) bereit, die für hohen Durchsatz und eine niedrige Latenz optimiert sind. Das verteilte Inferenz-Framework llm-d unterstützt eine vorhersehbare und skalierbare Performance und ein effizientes Ressourcenmanagement. Umfasst LLM Compressor und den Zugriff auf gängige, optimierte und validierte gen KI-Modelle. |
Benutzeroberflächen für agentische KI und gen KI | Beschleunigt agentische KI-Workflows mit zentralen Plattformservices. Eine einheitliche API-Schicht (Application Programming Interface) (MCP und Llama Stack API) und ein dediziertes Dashboard (AI Hub und Gen AI Studio). |
Beobachtbarkeit und Governance von Modellen | Gängige Open Source-Tools für Lifecycle Management, Performance und Management. Verfolgt Metriken wie Performance, Erkennung von Datendrift und Verzerrungen sowie KI-Richtlinien oder Inferenzen. Bietet LLM-Evaluierung (LM Eval) und Benchmarking von LLMs (GuideLLM) zur Unterstützung realer Inferenz-Deployments. |
Katalog und Registry | Zentrales Management von prädiktiven und gen KI-Modellen und MCP-Servern sowie ihrer Metadaten und Artefakte. |
Feature Store | Eine Benutzeroberfläche zur Verwaltung klar definierter Daten-Features für ML-Modelle, die die Performance verbessert und Workflows beschleunigt. |
Models as a Service | Ermöglicht AI Engineers das Verwenden von Modellen über ein gemanagtes, integriertes API-Gateway für Self Service-Zugriff und Nutzungsverfolgung (Feature in der Entwicklungsvorschau verfügbar). |
Isolierte Umgebungen und Edge | Unterstützt unabhängige und Air Gap-Cluster für die Einhaltung von Sicherheits- und gesetzlichen Vorschriften. |
Zusätzlich zu den Funktionen von OpenShift AI enthalten die integrierten Partnerprodukte Folgendes:
- Starburst für verteilten Datenzugriff auf die verschiedenen Datensätze
- HPE für Informationen zur Datenherkunft und -versionierung
- NVIDIA für das Performance-Management von GPUs
- AMD für die GPU-Beschleunigung
- Intel für leistungsstarke Inferenzen auf Intel-Hardware
- Elastic und EDB für Vektordatenbanken mit RAG-Anwendungen (Retrieval-Augmented Generation)
Nächste Schritte
Sehen Sie sich dieses informative Video an, um mehr über Red Hat OpenShift AI zu erfahren.
