Lokale KI-Entwicklung mit RHEL auf NVIDIA DGX Spark beschleunigen

Da Unternehmen den Hype um generative KI hinter sich lassen und nun kontrollierte, produktionsbereite KI-Anwendungen entwickeln, ergeben sich neue Herausforderungen. Derzeit leiten viele Unternehmen alle ihre Prompts an riesige, cloudbasierte LLMs weiter, was zu übermäßigen Kosten, hohen Latenzzeiten und unnötigen Datenrisiken führen kann. 

Um dieses Problem zu lösen, bringt Red Hat in Zusammenarbeit mit NVIDIA die unternehmensgerechte KI-Entwicklung direkt an den Schreibtisch des Entwicklungsteams. Wir freuen uns, die Developer Preview von Red Hat Enterprise Linux 10 (RHEL 10) auf NVIDIA DGX Spark anzukündigen. 

NVIDIA DGX Spark basiert auf der Architektur NVIDIA GB10 Grace Blackwell und bietet bis zu 1 Petaflop an Leistung, Unterstützung für das FP4-Datenformat und 128 GB Unified Memory. Durch die Kombination dieser Hardware mit dem bewährten Betriebssystem und den Entwicklungstools von Red Hat bieten wir eine leistungsstarke KI-Entwicklungs-Workstation, die die innere Entwicklungsschleife und lokale agentische KI-Workloads am Edge ermöglicht. 

Diese Kombination ermöglicht es Entwicklungsteams, komplexe agentische Workflows lokal mit vertrauten Tools wie Red Hat Desktop zu erstellen, zu testen und zu evaluieren, bevor sie diese Workloads in die Produktion überführen.  

Warum ist das wichtig?

Mit RHEL auf NVIDIA DGX Spark beseitigen wir die wichtigsten Hindernisse bei der Einführung von KI in Unternehmen, darunter:

• Kostenkontrolle und Datensouveränität: Indem sie sensiblen Datenverkehr lokal halten und kleine Sprachmodelle (Small Language Models, SLMs) für Aufgaben mittlerer bis geringer Komplexität nutzen, können Unternehmen ihre Ausgaben für Cloud-APIs reduzieren und gleichzeitig ihre sensiblen Daten auf einer lokalen Workstation belassen. Darüber hinaus ermöglicht die Unified Memory von 128 GB auf NVIDIA DGX Spark das Hosting von Large Language Models (LLMs) und kann dazu beitragen, die Cloud-Kosten während der Modellentwicklung weiter zu senken. 
   
• Evaluierungsorientierte Entwicklung: Autonome KI-Agenten sind nicht deterministisch, was standardmäßige Unit-Tests unzureichend macht. Die Ausführung von RHEL auf NVIDIA DGX Spark bietet die ultimative Sandbox für strenge Tests. Entwicklungsteams können eingebettete MLflow-Instanzen für die „Glass-Box“-Trajektorienverfolgung nutzen, um Tool-Aufrufe und Modellabfragen effektiver zu erfassen und LLM-as-a-Judge-Evaluierungen lokal durchzuführen, bevor sie Code in die Produktion übertragen.
   
• Konsistenz von Core zu Cluster: Durch die Standardisierung auf RHEL als zugrunde liegendes Betriebssystem können sich Entwicklungsteams auf die Erstellung ihrer Anwendungen konzentrieren, ohne sich über Reibungspunkte in der Infrastruktur sorgen zu müssen. RHEL kombiniert Produktionsstabilität mit der Agilität von Entwicklungsteams, um die Anwendungsentwicklung in Hybrid Cloud-Umgebungen und auf branchenführenden Chip-Architekturen zu beschleunigen. Zudem wird der Übergang von der lokalen Workstation-Entwicklung zu umfangreichen Bereitstellungen auf Red Hat OpenShift zu einer optimierten, vorhersehbaren Pipeline.

Die Zukunft der KI ist hybrid und beginnt am Schreibtisch des Entwicklungsteams. Wenden Sie sich an Ihre Vertretung von Red Hat, um mehr über RHEL 10 in der Entwicklungsvorschau auf NVIDIA DGX Spark zu erfahren und zu erfahren, wie Sie damit Ihre KI-Einführung beschleunigen können.