Sviluppare software nel modo più efficiente e rapido possibile è una necessità competitiva. Introdurre nuovi prodotti sul mercato in modo più rapido e tempestivo significa ottenere più vantaggi dai clienti. Negli ultimi anni, la programmazione basata sull'IA è diventata una soluzione efficace per superare queste sfide, poiché gestisce attività noiose e ripetitive e velocizza le operazioni di debug e test. In questo modo liberi tempo prezioso da dedicare ad attività di sviluppo di maggior impatto.
Tuttavia, la rapida adozione della programmazione basata sull'IA generativa ha introdotto nuove sfide a livello aziendale. Man mano che le organizzazioni estendono l'uso degli strumenti di IA, si trovano ad affrontare alcune domande cruciali. Come possiamo essere certi dell'efficienza dei costi a lungo termine? Come proteggere la proprietà intellettuale e i dati sensibili all'interno e all'esterno della codebase? E come possiamo soddisfare i requisiti di conformità dei dati e delle normative?
La maggior parte delle organizzazioni inizia il proprio percorso con l'IA adottando servizi di modelli in hosting, che spesso rappresentano un ottimo punto di partenza. Tuttavia, con l'aumento dell'utilizzo, fare affidamento su endpoint di terze parti in hosting, che prevedono tariffe basate sulla quantità di token, può comportare costi operativi imprevedibili ed elevati. Inoltre, disponi di un controllo minimo sull'infrastruttura, sulla sicurezza e sulla governance dell’insieme di tecnologie. Questa mancanza di controllo è fonte di problemi per le grandi organizzazioni, poiché spesso le costringe a fare eccezioni a policy consolidate e ben motivate.
Models-as-a-Service: l’IA aziendale alle tue condizioni
È proprio per rispondere a queste sfide che entra in gioco Models-as-a-Service (MaaS) su Red Hat AI.
MaaS è una funzionalità completamente integrata in Red Hat AI che cambia radicalmente il modo in cui le aziende gestiscono l'IA. Consente ai tuoi team IT centralizzati di ospitare e gestire i propri modelli sulla propria infrastruttura multitenant, interamente alle condizioni della tua organizzazione. Questi modelli sono a disposizione per supportare diversi scenari di utilizzo e team interni tramite un accesso controllato con token API.
Questo approccio basato su un servizio privato di modelli in hosting ti offre un livello di governance e controllo senza precedenti. Gli amministratori possono definire i livelli utente e stabilire vincoli di utilizzo specifici per ogni team o progetto. In questo modo si garantisce che ogni utente interno disponga delle risorse necessarie, evitando l'uso eccessivo di risorse costose che altrimenti rimarrebbero inutilizzate. Questo approccio semplifica l'accesso ai modelli, ottimizza la gestione dei consumi e consente ai team IT centrali di monitorare le metriche, prevedere i requisiti di capacità e di calcolo ed eseguire i chargeback con un controllo e una prevedibilità elevati.
Crea subito il tuo assistente di programmazione privato basato sull'IA con la nostra nuova guida rapida
Per rispondere all'esigenza di un percorso pratico, sicuro e con costi controllati per la programmazione basata sull'IA, abbiamo aggiunto una novità al nostro catalogo di guide rapide all'IA: la guida "Accelerate enterprise software development with NVIDIA and MaaS". Questa guida rapida all'IA è un deployment pronto all'uso, progettato per consentirti di iniziare a utilizzare Red Hat AI con una soluzione semplice e utile sin dall’inizio.
Questa guida rapida all'IA offre un percorso semplice e ripetibile per distribuire il tuo assistente di programmazione privato basato sull'IA, sfruttando la potenza dei modelli aperti NVIDIA Nemotron e del calcolo accelerato NVIDIA all'interno di Red Hat AI.
Cosa contiene la guida rapida all'IA?
La guida introduttiva all'IA fornisce tutti i componenti necessari per un assistente al codice basato su IA sicuro e ad alte prestazioni.
La piattaforma: Red Hat AI, con Red Hat OpenShift alla base, fornisce il livello di orchestrazione per tutti i tuoi modelli e carichi di lavoro di IA.
Inferenza: vLLM e llm-d con KServe offrono le prestazioni di inferenza distribuita di cui hai bisogno quando esegui modelli su larga scala, per consentire prestazioni eccellenti e un utilizzo ottimale delle risorse.
Un modello linguistico di grandi dimensioni (LLM): la guida introduttiva all'IA utilizza i principali LLM, tra cui il modello NVIDIA Nemotron 3 Nano 30B A3B. Questo modello, quantizzato con precisione FP8, è progettato per un ragionamento efficiente, chat e applicazioni di IA basate su agenti.
Models-as-a-Service: completamente integrato nella dashboard di Red Hat AI, fornisce un gateway API per il monitoraggio dell'utilizzo, la governance e i dati necessari per un semplice riaddebito tra i team.
Red Hat OpenShift Dev Spaces: OpenShift Dev Spaces offre ai tuoi team istanze IDE cloud-native per sviluppare e distribuire, il tutto nello stesso cluster.
Nota: OpenShift Dev Spaces è incluso nelle sottoscrizioni OpenShift.
Osservabilità: tramite l'operatore Prometheus in OpenShift, ottieni le metriche di inferenza e la telemetria della GPU di cui hai bisogno per comprendere l'utilizzo e le prestazioni dei modelli nei diversi team.
Accelerazione GPU: questa guida introduttiva all'IA viene eseguita sull'infrastruttura NVIDIA AI abilitata da NVIDIA GPU Operator e supportata da NVIDIA tramite la sottoscrizione NVIDIA AI Enterprise . Questo operatore abilita le GPU, gestisce i driver necessari, NVIDIA Data Center GPU Manager (DCGM), il toolkit per i container e le funzionalità MIG per il partizionamento degli acceleratori supportati.
Vantaggi principali
La guida introduttiva all'IA per l'assistente al codice offre tre vantaggi aziendali principali.
1. Controllo prevedibile dei costi e del budget
Gestendo la tua infrastruttura, mantieni il controllo grazie a funzionalità integrate per impostare limiti e quote di utilizzo e monitorare i consumi visualizzandone il dettaglio. In questo modo semplifichi il monitoraggio del budget e prevedi più facilmente i costi di scalabilità.
2. Sicurezza e conformità integrate
Per le organizzazioni con requisiti di governance rigorosi, la sicurezza è un aspetto su cui non puoi scendere a compromessi. La guida rapida all'IA offre un esempio di deployment on premise o su cloud privato che mantiene il tuo codice entro i confini della tua organizzazione. Poiché ospiti il modello internamente sull'infrastruttura che gestisci, non dovrai gestire chiamate API esterne o preoccuparti della fuga di dati.
3. Esperienza di sviluppo di alto livello
Offriamo le fondamenta di un ambiente ad alte prestazioni, per consentire al tuo team di sviluppatori di lavorare in modo più rapido ed efficiente. L'inferenza ad alta velocità della piattaforma, potenziata dalle GPU NVIDIA e dal nostro stack di inferenza vLLM e llm-d, offre elaborazioni rapide su scala aziendale. Queste prestazioni si integrano con un ambiente OpenShift Dev Spaces, consentendo ai tuoi sviluppatori di collaborare all'interno dello stesso cluster e di aumentare la produttività.
Inizia subito
Sei pronto a usare Models-as-a-Service e i modelli NVIDIA per la tua programmazione basata sull'IA?
- Dai un'occhiata alla guida rapida all'IA per accelerare lo sviluppo di software enterprise con NVIDIA e MaaS:
- Questa guida rapida all'IA rimanda al nostro repository GitHub con il codice di deployment completo.
- Esamina i requisiti hardware e software
- Per qualsiasi domanda o per ricevere assistenza sull'uso della guida rapida all'IA, apri un'issue su GitHub o contatta il tuo team Red Hat.
Risorse aggiuntive
- Consulta il catalogo AI quickstarts
- Scopri di più su NVIDIA Nemotron
- Esplora i vantaggi di Red Hat AI Factory with NVIDIA
Prodotto
Red Hat AI
Sull'autore
Taylor specializes in helping global enterprises transition Generative AI from experimental pilots to production-scale deployments. A specialist in large-scale inference and agentic systems, Taylor bridges the gap between complex infrastructure and practical application development. She is a dedicated advocate for open-source ecosystems, leveraging projects such as vLLM, llm-d and MLflow to build sovereign, secure, and observable AI stacks. Her work is centered on empowering organizations to reclaim control over their AI lifecycle through transparent and scalable open-source solutions.
Altri risultati simili a questo
Le minacce dell'IA si muovono rapidamente. Anche le tue difese dovrebbero farlo.
Dal metallo all'agente: perché l'IA basata sugli agenti è un'evoluzione delle applicazioni
Technically Speaking | Defining sovereign AI with open source
Technically Speaking | Inside open source AI strategy
Ricerca per canale
Automazione
Novità sull'automazione IT di tecnologie, team e ambienti
Intelligenza artificiale
Aggiornamenti sulle piattaforme che consentono alle aziende di eseguire carichi di lavoro IA ovunque
Hybrid cloud open source
Scopri come affrontare il futuro in modo più agile grazie al cloud ibrido
Sicurezza
Le ultime novità sulle nostre soluzioni per ridurre i rischi nelle tecnologie e negli ambienti
Edge computing
Aggiornamenti sulle piattaforme che semplificano l'operatività edge
Infrastruttura
Le ultime novità sulla piattaforma Linux aziendale leader a livello mondiale
Applicazioni
Approfondimenti sulle nostre soluzioni alle sfide applicative più difficili
Virtualizzazione
Il futuro della virtualizzazione negli ambienti aziendali per i carichi di lavoro on premise o nel cloud
