Die Entwicklung von Unternehmenssoftware mit NVIDIA und Model as a Service (MaaS) auf Red Hat AI beschleunigen

Software so effizient und schnell wie möglich zu entwickeln, ist im Wettbewerb unerlässlich. Je schneller und früher Sie neue Produkte auf den Markt bringen können, desto größer ist Ihr Vorteil bei Ihren Kunden. In den letzten Jahren hat sich die KI-Programmierung zu einer überzeugenden Methode entwickelt, diese Herausforderungen zu lösen. Sie übernimmt mühsame, sich wiederholende Aufgaben und beschleunigt Debugging und Tests. So wird wertvolle Zeit frei, die für wichtigere Entwicklungsaufgaben genutzt werden kann.

Die schnelle Einführung von generativer, KI-gestützter Programmierung hat jedoch neue Herausforderungen auf Unternehmensebene mit sich gebracht. Wenn Unternehmen die Nutzung von KI-Tools skalieren, stehen sie vor kritischen Fragen: Wie können wir eine langfristige Kosteneffizienz sicherstellen? Wie schützen wir geistiges Eigentum und sensible Daten innerhalb und um die Codebasis? Und wie können wir unsere Vorgaben zur Daten- und gesetzlichen Compliance einhalten? 

Die meisten Unternehmen beginnen ihren KI-Weg mit gehosteten Modellservices. Dies ist oft ein guter Ausgangspunkt. Mit zunehmender Nutzung kann die Abhängigkeit von gehosteten Drittanbieter-Endpunkten, die nach Token-Menge abrechnen, jedoch zu unvorhersehbaren, hohen Betriebskosten führen. Zudem haben Sie nur minimale Kontrolle über die Infrastruktur, die Sicherheit und die Governance des gesamten Stacks. Dieser Mangel an Kontrolle stellt Unternehmen vor Herausforderungen und zwingt sie häufig dazu, Ausnahmen von langjährigen und gut begründeten Richtlinien zu schaffen. NVIDIA und Red Hat arbeiten zusammen, um Sie bei der Bewältigung dieser Herausforderungen zu unterstützen. Mit Plattformen wie Red Hat AI Factory with NVIDIA können Sie leistungsstarke Inferenz und Feinabstimmung auf Ihrer eigenen Hybrid Cloud-Infrastruktur ausführen. Gleichzeitig behalten Sie die Kontrolle über Sicherheit, Zugriffsrichtlinien und GPU-Nutzung im Unternehmen. 

Models as a Service: Unternehmens-KI nach Ihren eigenen Regeln

Bei der Bewältigung dieser Herausforderungen kommt Models as a Service (MaaS) auf Red Hat AI ins Spiel.

MaaS ist eine vollständig integrierte Funktion in Red Hat AI, die grundlegend verändert, wie Unternehmen KI verwalten. Damit können Ihre zentralen IT-Teams ihre eigenen Modelle auf ihrer eigenen mandantenfähigen Infrastruktur hosten und verwalten – vollständig zu den Bedingungen Ihres Unternehmens. Diese Modelle werden dann über einen kontrollierten API-Token-Zugriff mehreren internen Use Cases und Teams zur Verfügung gestellt.

Dieser Ansatz eines eigenen, privat gehosteten Modellservices bietet Ihnen ein deutlich höheres Maß an Governance und Kontrolle. Administrierende können Nutzerebenen definieren sowie spezifische Nutzungsbeschränkungen für einzelne Teams oder Projekte festlegen. Dies stellt sicher, dass die internen Nutzenden über die benötigten Ressourcen verfügen. Gleichzeitig verhindert es eine unnötige Überbeanspruchung, bei der teure Ressourcen ungenutzt bleiben. Dies vereinfacht den Modellzugriff und steuert den Verbrauch. Zudem können die zentralen IT-Teams Metriken überwachen, Kapazitäts- und Rechenanforderungen vorhersagen sowie die interne Leistungsverrechnung mit hoher Kontrolle und Planbarkeit durchführen.

Starten Sie noch heute Ihren eigenen privaten KI-Code-Assistenten mit unserem neuen KI-Schnellstart

Da wir den Bedarf an einem praktischen, sicheren und kostenkontrollierten Weg zur KI-Programmierung erkannt haben, haben wir einen neuen KI-Schnellstart: Beschleunigen Sie die Entwicklung von Unternehmenssoftware mit NVIDIA und MaaS“ in unserem KI-Schnellstart-Katalog hinzugefügt. Dieser KI-Schnellstart ist ein sofort ausführbares Deployment. Er erleichtert Ihnen den Einstieg in Red Hat AI mit einer einfachen, sofort einsatzbereiten Lösung.

Dieser KI-Schnellstart bietet einen einfachen, wiederholbaren Weg zur Bereitstellung Ihres eigenen privaten KI-Code-Assistenten. Dabei nutzen Sie die Leistung der offenen NVIDIA Nemotron-Modelle und von NVIDIA Accelerated Computing in Red Hat AI.

Was beinhaltet der KI-Schnellstart?

Der KI-Schnellstart bietet die erforderlichen Komponenten für einen leistungsstarken, sicheren KI-Code-Assistenten:

Die Plattform: Red Hat AI bietet auf Basis von Red Hat OpenShift die Orchestrierungsschicht für all Ihre Modelle und KI-Workloads.

Inferenz: vLLM und llm-d mit KServe bieten die verteilte Inferenzperformance, die Sie für die Skalierung von Modellen benötigen. Dies ermöglicht eine hohe Performance und eine optimale Ressourcennutzung.

Large Language Model (LLM): Der KI-Schnellstart verwendet führende LLMs, darunter das Modell NVIDIA Nemotron 3 Nano 30B A3B. Dieses auf FP8-Präzision quantisierte Modell ist für effiziente Inferenz, Chats und agentische KI-Apps konzipiert.

Models as a Service: Vollständig in das Dashboard von Red Hat AI integriert, bietet es ein API-Gateway für die Nutzungsverfolgung, Governance und die erforderlichen Daten für eine einfache teamübergreifende Rückbelastung.

Red Hat OpenShift Dev Spaces: OpenShift Dev Spaces bietet Ihren Teams cloudnative IDE-Instanzen zum Entwickeln und Bereitstellen im selben Cluster.

Hinweis: OpenShift Dev Spaces ist in Abonnements von OpenShift enthalten.

Beobachtbarkeit: Über den Prometheus Operator in OpenShift erhalten Sie die Inferenzmetriken und GPU-Telemetrie, die Sie benötigen, um die Modellnutzung und -performance teamübergreifend zu verstehen.

GPU-Beschleunigung: Dieser KI-Schnellstart läuft auf einer NVIDIA AI-Infrastruktur, die der NVIDIA GPU Operator aktiviert. NVIDIA unterstützt diese im Rahmen der Subskription von NVIDIA AI Enterprise. Dieser Operator aktiviert die GPUs und verwaltet die erforderlichen Treiber, den NVIDIA Data Center GPU Manager (DCGM), das Container-Toolkit sowie die MIG-Funktionen zur Partitionierung unterstützter Beschleuniger. 

Entscheidende Vorteile

Der KI-Schnellstart für den Code-Assistenten bietet 3 wesentliche geschäftliche Vorteile:

1. Vorhersehbare Kosten und Budgetkontrolle

Durch den Betrieb Ihrer eigenen Infrastruktur behalten Sie die Kontrolle. Integrierte Funktionen helfen Ihnen, Nutzungsbegrenzungen und Kontingente einzurichten und den Verbrauch detailliert zu überwachen. Dies vereinfacht die Budgetüberwachung und erleichtert die Prognose von Skalierungskosten.

2. Integrierte Sicherheit und Compliance

Für Unternehmen mit strengen Governance-Anforderungen ist Sicherheit ein Aspekt, bei dem Sie keine Kompromisse eingehen können. Der KI-Quickstart bietet Ihnen ein Beispiel für ein On-Premise- oder Private Cloud-Deployment, bei dem Ihr Code innerhalb Ihrer Unternehmensgrenzen bleibt. Da Sie das Modell intern auf einer von Ihnen verwalteten Infrastruktur hosten, müssen Sie sich nicht mit externen API-Aufrufen oder Bedenken hinsichtlich Datenlecks befassen.

3. Erstklassiges Entwicklungserlebnis

Wir bieten die Basis für eine leistungsstarke Umgebung, die Ihre Entwicklungsteams benötigen, um schneller und effizienter zu arbeiten. Die Hochgeschwindigkeits-Inferenz der Plattform, die von NVIDIA GPUs und unserem vLLM- und llm-d-Inferenz-Stack unterstützt wird, bietet schnelle Inferenz auf Unternehmensniveau. Diese Performance lässt sich dann in eine OpenShift Dev Spaces-Umgebung integrieren. So kann Ihr Entwicklungsteam im selben Cluster zusammenarbeiten und die Produktivität steigern. 

Einstieg

Sind Sie bereit, Models as a Service und NVIDIA-Modelle für Ihre KI-Programmierung einzusetzen? 

• Sehen Sie sich den KI-Quickstart Beschleunigte Entwicklung von Unternehmenssoftware mit NVIDIA und MaaS an:
  • Dieser KI-Schnellstart ist mit unserem GitHub-Repository mit dem vollständigen Deployment-Code verknüpft.
• Überprüfen Sie die Hardware- und Softwareanforderungen
• Wenden Sie sich bei Fragen oder für Unterstützung bei der Verwendung des KI-Schnellstarts über ein GitHub-Issue oder direkt an Ihr Team von Red Hat.

Zusätzliche Ressourcen

• Sehen Sie sich den KI-Schnellstart-Katalog an.
• Erfahren Sie mehr über NVIDIA Nemotron.
• Entdecken Sie die Vorteile von Red Hat AI Factory with NVIDIA.