Potenzia lo sviluppo locale dell'IA con RHEL su NVIDIA DGX Spark

Mentre le aziende passano dall'interesse mediatico per l'IA generativa alla creazione di applicazioni di IA soggette a governance e pronte per la produzione, sono emerse diverse nuove sfide. Attualmente, molte aziende indirizzano tutti i prompt a modelli linguistici di grandi dimensioni (LLM) basati sul cloud, e questo può comportare costi eccessivi, latenza elevata e un’esposizione non necessaria dei dati. 

Per risolvere questo problema, Red Hat, in collaborazione con NVIDIA, sta portando lo sviluppo dell'IA di livello enterprise direttamente alla scrivania dello sviluppatore. Siamo lieti di annunciare l'anteprima per sviluppatori di Red Hat Enterprise Linux 10 (RHEL 10) su NVIDIA DGX Spark. 

Basato sull'architettura NVIDIA GB10 Grace Blackwell, NVIDIA DGX Spark offre prestazioni fino a 1 Petaflop, supporto per il formato dei dati FP4 e 128 GB di memoria unificata. Abbinando questo hardware al sistema operativo e agli strumenti di sviluppo affidabili di Red Hat, offriamo una workstation per sviluppatori di IA ad alte prestazioni, che consente il ciclo di sviluppo interno e i carichi di lavoro di IA agentica locale all'edge. 

Questa combinazione consente agli sviluppatori di creare, testare e valutare complessi flussi di lavoro agentici in locale con strumenti familiari come Red Hat Desktop, prima di trasferire tali carichi di lavoro in produzione.  

Perché è importante?

Con RHEL su NVIDIA DGX Spark, stiamo affrontando i principali ostacoli all'adozione dell'IA aziendale. Eccone alcuni.

• Controllo dei costi e sovranità dei dati: mantenendo il traffico sensibile in locale e utilizzando modelli linguistici di piccole dimensioni (SLM) per attività di complessità medio-bassa, le aziende possono ridurre la spesa per le API cloud limitando i dati sensibili a una workstation locale. Inoltre, i 128 GB di memoria unificata di NVIDIA DGX Spark consentono l'hosting di modelli linguistici di grandi dimensioni (LLM) e possono contribuire a ridurre ulteriormente i costi del cloud durante lo sviluppo dei modelli. 
   
• Sviluppo basato sulla valutazione: gli agenti di IA autonomi non sono deterministici, e per questo gli unit test standard non sono sufficienti. L'esecuzione di RHEL su NVIDIA DGX Spark offre una sandbox ideale per test rigorosi. Gli sviluppatori possono utilizzare istanze MLflow integrate per il tracciamento delle traiettorie "glass box", acquisire le chiamate agli strumenti e le query sui modelli in modo più efficace ed eseguire valutazioni LLM-as-a-Judge localmente, prima di avviare la produzione.
   
• Coerenza da core a cluster: standardizzando RHEL come sistema operativo alla base, gli sviluppatori possono dedicarsi alla creazione delle loro applicazioni senza doversi preoccupare degli attriti dell'infrastruttura. RHEL combina la stabilità della produzione con l'agilità degli sviluppatori per accelerare lo sviluppo applicativo negli ambienti cloud ibridi e nelle architetture di chip leader del settore. Inoltre, la transizione dallo sviluppo su workstation locali ai deployment su larga scala su Red Hat OpenShift diventa una pipeline più semplice e prevedibile.

Il futuro dell'IA è ibrido e inizia dalla scrivania dello sviluppatore. Contatta il tuo rappresentante Red Hat per scoprire di più su RHEL 10 in anteprima per sviluppatori su NVIDIA DGX Spark e su come può accelerare il tuo percorso di adozione dell'IA.