Accélérer le développement local de l'IA avec RHEL sur NVIDIA DGX Spark

Alors que les entreprises délaissent l'engouement suscité par l'IA générative pour créer des applications d'IA gouvernées et prêtes pour la production, plusieurs nouveaux défis sont apparus. Actuellement, de nombreuses entreprises acheminent toutes leurs requêtes vers d'énormes LLM basés dans le cloud, ce qui peut entraîner des coûts excessifs, une latence élevée et une exposition inutile des données. 

Pour résoudre ce problème, Red Hat, en collaboration avec NVIDIA, met le développement d'IA de classe entreprise directement à la portée des développeurs. Nous sommes ravis d'annoncer la version de développement préliminaire de Red Hat Enterprise Linux 10 (RHEL 10) sur NVIDIA DGX Spark. 

Dotée de l'architecture NVIDIA GB10 Grace Blackwell, la solution NVIDIA DGX Spark affiche des performances allant jusqu'à 1 pétaflop, prend en charge le format de données FP4 et dispose de 128 Go de mémoire unifiée. En associant ce matériel au système d'exploitation et aux outils de développement de confiance de Red Hat, nous fournissons un poste de travail de développement d'IA hautes performances qui permet la boucle de développement interne et les charges de travail d'IA agentique locales en périphérie. 

Cette combinaison permet aux développeurs de créer, de tester et d'évaluer localement des workflows agentiques complexes avec des outils familiers tels que Red Hat Desktop avant de déployer ces charges de travail en production.  

En quoi est-ce important ?

Avec RHEL sur NVIDIA DGX Spark, nous levons les principaux obstacles à l'adoption de l'IA en entreprise, notamment :

• Contrôle des coûts et souveraineté des données : En conservant le trafic sensible en local et en utilisant des petits modèles de langage (SLM) pour les tâches de complexité moyenne à faible, les entreprises peuvent réduire leurs dépenses liées aux API cloud tout en confinant leurs données sensibles à un poste de travail local. De plus, les 128 Go de mémoire unifiée de NVIDIA DGX Spark permettent d'héberger de grands modèles de langage (LLM) et peuvent aider à réduire davantage les coûts liés au cloud pendant le développement des modèles. 
   
• Développement axé sur l'évaluation : Les agents d'IA autonomes sont non déterministes, ce qui rend les tests unitaires standards insuffisants. L'exécution de RHEL sur NVIDIA DGX Spark offre l'environnement de test (sandbox) idéal pour effectuer des tests rigoureux. Les développeurs peuvent utiliser des instances MLflow intégrées pour le traçage de trajectoire en « boîte transparente » (glass box), capturer plus efficacement les appels d'outils et les requêtes de modèles, et réaliser des évaluations de type LLM-as-a-Judge localement avant toute mise en production.
   
• Cohérence du cœur au cluster : En standardisant leur environnement sur RHEL, les développeurs peuvent se concentrer sur la création de leurs applications sans se soucier des frictions liées à l'infrastructure. RHEL allie la stabilité de la production à l'agilité du développement pour aider à accélérer le développement d'applications dans les environnements de cloud hybride et sur les architectures de puces de référence du secteur. De plus, la transition du développement sur poste de travail local vers des déploiements à grande échelle sur Red Hat OpenShift devient un pipeline plus fluide et prévisible.

L'avenir de l'IA est hybride, et il commence sur le poste de travail des développeurs. Contactez votre représentant Red Hat pour en savoir plus sur la version de développement préliminaire de RHEL 10 sur NVIDIA DGX Spark et découvrir comment elle peut vous aider à accélérer votre parcours vers l'IA.