Il driver dell'acceleratore di IA su Red Hat Enterprise Linux offre una nuova esperienza semplificata

L'IA arricchisce e migliora molti carichi di lavoro diffusi, e in futuro probabilmente emergeranno molte nuove applicazioni di IA. Gli acceleratori di IA, tra cui le unità di elaborazione grafica (GPU) e i motori di addestramento e inferenza personalizzati, sono diventati sempre più importanti. Dalle GPU discrete all'accelerazione dell'IA integrata on-die con la CPU tradizionale, è evidente che sia necessario un hardware specializzato e accelerato per fornire prestazioni adeguate per sviluppare e distribuire i carichi di lavoro del futuro.

Ecco perché annunciamo una nuova esperienza semplificata per i driver dell'acceleratore di IA su Red Hat Enterprise Linux (RHEL). Che tu stia creando un’applicazione di IA rivoluzionaria o che ti occupi dell’amministrazione di sistemi IT e del provisioning dei server per distribuire i carichi di lavoro IA, RHEL ti offre un'esperienza lineare per rendere operativi i sistemi accelerati. Ora puoi acquisire i driver per gli acceleratori di IA da NVIDIA ed AMD creati e validati da Red Hat dai repository Red Hat, utilizzando le procedure sicure della catena di distribuzione del software e tecnologie Secure Boot. Con un solo comando, puoi installare i driver degli acceleratori più recenti disponibili.

La sfida della gestione dei driver GPU e la nostra soluzione

In passato, l'installazione e la gestione dei driver per acceleratori GPU con distribuzioni Linux di livello enterprise ha presentato una serie di sfide uniche. Gli utenti hanno spesso affrontato diversi ostacoli.

• Compatibilità dei driver: verifica della versione del driver corretta per kernel e hardware specifici.
• Sicurezza e affidabilità: verifica dell'autenticità e dell'integrità dei driver di terze parti tramite il supporto di Secure Boot.
• Oneri di manutenzione: aggiornamento manuale dei driver e gestione dei potenziali conflitti con gli aggiornamenti di sistema.

La nuova offerta di Red Hat affronta queste sfide in modo diretto. Fornendo i driver AMD, Intel ed NVIDIA tramite i repository Red Hat, stiamo semplificando la distribuzione e la gestione dei carichi di lavoro di IA su RHEL, offrendoti maggiore sicurezza e controllo.

La nuova esperienza include:

• driver per il kernel e la modalità utente degli acceleratori di IA NVIDIA ed AMD, creati e validati da Red Hat (se applicabile) e disponibili in pacchetti nei repository Red Hat.
• uno script per installare in modo trasparente i driver più recenti per gli acceleratori di IA per data center NVIDIA ed AMD.
• driver AMD ed Intel in modalità kernel integrati con il kernel Linux upstream.

Perché è importante per le tue iniziative di IA

Questa nuova funzionalità offre diversi importanti vantaggi agli utenti di RHEL, che sfruttano gli acceleratori di IA.

• Time to value più rapido: riducendo le difficoltà legate all'installazione e alla gestione dei driver, i tuoi team possono dedicare più tempo alla creazione e alla distribuzione dei carichi di lavoro di IA di importanza critica per l'azienda, e meno tempo alle attività che servono a far funzionare i processi.
• Sicurezza e affidabilità migliorate: tutti i driver sono creati e validati da Red Hat, per garantire una maggiore sicurezza della catena di distribuzione e l'integrazione con l'elaborazione riservata. Puoi eseguire la distribuzione con maggiore sicurezza, sapendo che i driver sono autentici e non sono stati manomessi.
• Accesso semplificato: ottieni tutti i driver necessari per utilizzare l'hardware del tuo acceleratore di IA; sono disponibili tramite l'ecosistema Red Hat (estensioni e repository supplementari) e perfettamente integrabili con i tuoi flussi di lavoro di aggiornamento RHEL, utilizzando i comandi dnf.
• Compatibilità affidabile grazie alla convalida dei partner: i nostri partner testano e convalidano i driver, per garantire stabilità e compatibilità con i kernel RHEL. Questo riduce il rischio di instabilità dei sistemi e migliora l'affidabilità complessiva dell'infrastruttura di IA.

Installazione semplificata con rhel-drivers

Il nuovo comando rhel-drivers rileva automaticamente l'hardware di accelerazione dell'IA di classe data center presente nel sistema, quindi installa automaticamente, e in modalità kernel, il driver più recente disponibile in base alla versione del kernel Linux in uso. Questo efficace strumento elimina la necessità di ricercare nella documentazione o tra le pagine di compatibilità dei prodotti, offrendo le più recenti innovazioni per gli acceleratori necessarie per sfruttare al meglio gli strumenti di IA che desideri utilizzare.

Convalida dei partner: affidabilità nell'esecuzione degli acceleratori di IA su RHEL

Red Hat ha una lunga storia di collaborazione con AMD, Intel ed NVIDIA per fornire soluzioni enterprise ai nostri clienti condivisi. I nostri partner hanno eseguito test approfonditi su RHEL per verificarne la compatibilità, le prestazioni e la stabilità.

Repository delle estensioni di RHEL e repository supplementare

L'ecosistema software odierno è caratterizzato da un'ampia varietà di modelli di sviluppo e licenze. Siamo consapevoli del fatto che l'ambiente IT moderno si affida a un insieme diversificato di software e strumenti per offrire alle aziende il valore aziendale necessario. Questo è il motivo per cui forniamo ai clienti l'accesso a più repository per gestire questo ecosistema diversificato.

Allo stesso modo, l'ecosistema degli acceleratori di IA si basa su una combinazione di contenuti open source e proprietari. Con i repository delle estensioni di RHEL e i repository supplementari, puoi ottenere tutto ciò di cui hai bisogno per eseguire i tuoi acceleratori di IA dall'ecosistema Red Hat.

Repository delle estensioni di RHEL

Red Hat ha creato il repository delle estensioni di RHEL per distribuire contenuti open source di terze parti, creati e validati da Red Hat, al fine di garantire la sicurezza della catena di distribuzione.

Il repository supplementare di Red Hat

Il repository supplementare di Red Hat contiene contenuti proprietari di terze parti, creati e convalidati da Red Hat.

Elaborazione riservata

I driver creati e validati da Red Hat abilitano l'elaborazione riservata, un aspetto fondamentale per le distribuzioni cloud multitenant sicure.

Per iniziare

Ecco una guida dettagliata per iniziare a utilizzare questi nuovi driver su RHEL.

Prerequisiti

• Red Hat Enterprise Linux 10.1: assicurati che sul tuo sistema sia in esecuzione RHEL 10.1 o versioni successive.
• Sottoscrizione Red Hat attiva: è necessaria una sottoscrizione attiva che consenta di accedere ai repository Red Hat Extensions e Supplementary.
• Acceleratori di IA NVIDIA o AMD compatibili: verifica che nel sistema sia installata una GPU compatibile. Per AMD, leggi System requirements (Linux) — ROCm installation (Linux) e per le GPU Instinct segui questi consigli per l'ottimizzazione del sistema per le impostazioni del BIOS e gli argomenti del kernel.

Installazione a comando singolo con rhel-drivers

rhel-drivers è un nuovo strumento a riga di comando che offre un'esperienza di installazione semplificata per i driver degli acceleratori di IA NVIDIA ed AMD. Il pacchetto è disponibile nel repository Application Streams (AppStreams) su RHEL 10.1. AppStreams è abilitato per impostazione predefinita. Basterà installare il pacchetto rhel-drivers. 

rhel-drivers automatizza diversi passaggi, che altrimenti dovrebbero essere eseguiti manualmente:

1. rileva automaticamente l'acceleratore di IA presente nel sistema locale;
2. abilita i repository delle estensioni di RHEL e i repository supplementari;
3. installa i driver più recenti disponibili dai repository Red Hat.
   • Per gli acceleratori di IA per data center NVIDIA, installerà la versione più recente di OpenRM ed i driver cuda-toolkit.
   • Per gli acceleratori di IA per data center AMD, installerà il driver AMDGPU più recente dal repository delle estensioni di RHEL. L'utente dovrà installare separatamente il pacchetto AMD ROCm dal repository delle estensioni di RHEL.

Installazione dei driver NVIDIA in modalità kernel e utente con rhel-drivers

# Install the rhel-drivers package (not installed by default)
sudo dnf install rhel-drivers
# Install the NVIDIA kernel and user mode drivers
sudo rhel-drivers install nvidia
sudo reboot

Per verificarne la corretta installazione, esegui il comando seguente:

nvidia-smi

Installazione dei driver AMD in modalità kernel e utente con rhel-drivers

# Install the rhel-drivers package (not installed by default)
sudo dnf install rhel-drivers
# Install the AMD kernel mode drivers
sudo rhel-drivers install amdgpu
# Install the AMD ROCm (user mode drivers) from the Extensions Repository
sudo dnf install rocm rocm-devel
sudo reboot

Verifica che l'installazione sia avvenuta come previsto:

$ rocm-smi --showid --showtemp --showpower --showmeminfo vram

Installazione manuale dei driver

Sappiamo che ogni ambiente IT è spesso diverso e richiede versioni diverse dei driver che non sempre sono le più recenti. Per gli ambienti che richiedono altre versioni esistenti dei driver dell'acceleratore di IA, i clienti possono eseguire l'installazione direttamente dai repository delle estensioni di RHEL e dai repository supplementari.

1. Abilita i repository delle estensioni e supplementari

Innanzitutto, abilita il repository appropriato per la versione di RHEL. Per RHEL 10:

sudo subscription-manager repos 
--enable=rhel-10-for-x86_64-supplementary-rpms
sudo subscription-manager repos 
--enable=rhel-10-for-x86_64-extensions-rpms

Assicurati che il sistema RHEL sia aggiornato con i pacchetti più recenti:

sudo dnf update
sudo reboot

Utilizzo in parallelo dei repository Extensions ed EPEL

Sebbene non sia consigliabile, se desideri abilitare in parallelo i repository Extensions ed Extra Packages for Enterprise Linux (EPEL), devi modificare la priorità del repository per garantire che i pacchetti disponibili da entrambi i repository siano installati da Extensions per impostazione predefinita.

sudo subscription-manager repo-override 
--repo=rhel-10-for-x86_64-extensions-rpms --add=priority:98

Consulta la DNF Configuration Reference per la definizione della priorità del repository.

2. Identifica e installa i pacchetti dei driver

I nomi dei pacchetti specifici variano leggermente tra NVIDIA e AMD.

Driver NVIDIA

$ sudo dnf install nvidia-driver cuda-toolkit

Per un elenco dei metapacchetti disponibili, consulta l'elenco dei metapacchetti di NVIDIA.

Driver per l'acceleratore di IA NVIDIA

In genere viene installato il pacchetto kmod-nvidia insieme ai componenti dello spazio utente nvidia-driver.

$ sudo dnf install kmod-nvidia nvidia-driver

Questo comando installa automaticamente il modulo del kernel e i driver dello spazio utente corretti per il tuo sistema.

Driver per acceleratori di IA AMD (ROCm)

Per AMD, installa il driver del kernel amdgpu più recente e lo stack dello spazio utente ROCm.

$ sudo dnf install kmod-amdgpu rocm rocm-devel

3. Riavvia il sistema

Dopo l'installazione, è fondamentale riavviare il sistema per assicurarsi che i nuovi moduli del kernel siano caricati correttamente.

$ sudo reboot

4. Verifica l'installazione

Una volta riavviato il sistema, puoi verificare che il driver sia stato caricato con un comando specifico del fornitore. Ad esempio, verifica che il driver NVIDIA sia caricato e che la GPU sia riconosciuta:

$ nvidia-smi

Vedrai un output simile a questo, che descrive in dettaglio la versione della GPU NVIDIA e del driver:

Driver Intel NPU in modalità kernel: convalida in BaseOS

Il repository BaseOS include il driver Intel perché si trova nel kernel Linux. Le CPU Intel NPU compatibili sono convalidate sui SoC Core Ultra Meteor Lake, Arrow Lake e Lunar Lake. Per verificare il supporto dei driver del kernel:

sudo modprobe -v intel_vpu
lsmod | grep intel_vpu

RHEL: la base per la creazione delle applicazioni di IA del futuro

Red Hat sta lavorando affinché RHEL sia la piattaforma Linux per le aziende capace di consentire lo sviluppo e la distribuzione delle applicazioni e dei carichi di lavoro di IA più avanzati. Ci piacerebbe sapere come possiamo continuare a migliorare l'esperienza del driver dell'acceleratore su RHEL. Prova subito questi driver e la nuova esperienza di installazione su RHEL.