Perché il futuro dell'IA dipende da un ecosistema PyTorch aperto e portabile

Questo blog è un adattamento del nostro evento principale al PyTorch Day India.

Nel confronto tra tecnologia proprietaria e open source, è quest'ultimo ad avere la meglio, soprattutto nell'ambito dell'IA. Tuttavia, oggi che viviamo nell'era dell'IA generativa, le aziende devono affrontare una vecchia sfida, ma in una nuova versione. Sebbene il settore si evolva a una velocità vertiginosa, gran parte dell'infrastruttura alla base rimane frammentata o bloccata a causa di funzioni proprietarie. Se vogliamo che l'IA ci consenta di esprimere il nostro potenziale come mai prima d'ora, allora questa tecnologia deve essere "open" a tutti i livelli, dai set di dati alle pipeline di addestramento, dall'infrastruttura ai livelli di distribuzione.

La visione di Red Hat per questo futuro open source è chiara, e include qualsiasi modello, acceleratore e cloud. Per far sì che tutto questo diventi realtà, scommettiamo su community open source che puntano a ottenere il massimo impatto, come la community PyTorch . PyTorch è il motore che promuove la flessibilità, la scalabilità e, soprattutto, l'accessibilità per ogni azienda, indipendentemente dal provider di hardware o cloud. Per garantire che l'innovazione dell'IA rimanga democratica, dobbiamo proteggere l'indipendenza dell'utente e consentirgli di scegliere gli strumenti e l'hardware più adatti alle sue specifiche esigenze.

Il nostro impegno a favore di indipendenza, democrazia e libertà di scelta

Oggi, gran parte delle conversazioni sull'IA è incentrata su enormi modelli "di frontiera". Per quanto notevoli, questi modelli possono essere difficili e costosi da gestire, e spesso necessitano delle GPU più recenti e che richiedono un consumo maggiore. Questa situazione ostacola l'accesso a questo ambito e quindi soffoca l'innovazione. L'approccio modulare all'IA ha aperto una nuova strada verso il futuro e, per avvicinare la community a questa soluzione, Red Hat ha creato vLLM Semantic Router. Agendo come una sorta di "controllore del traffico" intelligente che indirizza le richieste in base all'intento, questo strumento consente alle organizzazioni di ottenere un ragionamento di alto livello utilizzando un'infrastruttura più accessibile ed efficiente. È così che rendiamo lo sviluppo agentic una realtà concreta per la community open source, spostando le potenzialità dell'IA dai monoliti centralizzati a un modello più distribuito e collaborativo.

Il fulcro di qualsiasi strategia di IA è il server di inferenza, ovvero il livello su cui il modello incontra effettivamente l'utente. Per consentire l'apertura e le prestazioni elevate all'interno del livello di inferenza, Red Hat è diventato uno dei principali motori di vLLM, uno dei progetti più importanti della PyTorch Foundation. Il nostro lavoro con vLLM è volto a garantire che la portabilità del software al servizio del modello sia identica a quella del modello stesso, al fine di far crescere l'IA e soddisfare le esigenze aziendali globali. Come funziona tutto questo da un punto di vista pratico? In breve: bisogna dare la priorità all'abilitazione dei vLLM non appena i modelli vengono rilasciati, guardare oltre le prestazioni a nodo singolo e collaborare a llm-d. Disaggregando i componenti principali come precompilazione e decodifica, stiamo contribuendo a creare uno standard scalabile e aperto per il model serving, che rifletta la natura ibrida e distribuita delle aziende di oggi.

Oltre al software, alcuni dei principali ostacoli nell'IA rimangono la scarsità e i costi dell'hardware. Il software non dovrebbe mai essere sacrificato per la libertà di scelta, né dovrebbe rappresentare un ostacolo per la scelta dell'hardware, motivo per cui promuoviamo un futuro in cui PyTorch possa essere eseguito senza problemi in qualsiasi ambiente e investire nello sviluppo di un ecosistema PyTorch che supporti una serie di acceleratori. Ecco quali soluzioni offre:

• vllm-cpu: in collaborazione con altri leader del settore, stiamo portando l'inferenza ad alte prestazioni nelle CPU esistenti. Si tratta di un aspetto fondamentale negli scenari di utilizzo in cui i costi e l'alimentazione sono vincoli significativi.
• OpenReg: questo progetto crea un framework che consente l'abilitazione rapida di un nuovo hardware ottimizzato dal punto di vista energetico senza richiedere modifiche complesse al core PyTorch.
• Kernel avanzati: grazie a progetti come Helion e Triton, Red Hat sta aiutando gli sviluppatori a semplificare il modo in cui gli sviluppatori scelgono i diversi acceleratori indipendentemente dal silicio alla base.

Insieme, questi investimenti fanno sì che la community PyTorch rimanga la più versatile e indipendente dall'hardware per lo sviluppo dell'IA.

La solidificazione di PyTorch per le aziende globali

Affinché l'IA passi dai laboratori sperimentali agli ambienti di produzione di importanza critica, come quelli che gestiscono banche, compagnie aeree e ospedali di tutto il mondo, è necessaria un'affidabilità di livello industriale. In quanto terzo contributore globale al progetto PyTorch, Red Hat non si concentra solo sulle nuove funzionalità, ma anche sul consolidamento dell'azienda. I nostri team hanno risolto oltre 60 problemi all'interno di Torch.Compile per garantire la stabilità dei carichi di lavoro pesanti e hanno integrato Red Hat Enterprise Linux (RHEL) nell'interfaccia utente ufficiale upstream di PyTorch. Quando contribuiamo a PyTorch, vogliamo garantire che ogni organizzazione possa impiegare l'IA con la stessa fiducia che ha nel proprio sistema operativo.

I principi di accesso, indipendenza e libertà ci consentono di sfruttare le idee degli altri e di far progredire la tecnologia più rapidamente di quanto potrebbe fare qualsiasi singola organizzazione da sola. Per qualsiasi modello, acceleratore o cloud, ci impegniamo a creare le basi open source enterprise ready di cui il mondo ha bisogno per esprimere tutto il suo potenziale.