L'intelligenza artificiale generativa (IA gen) continua ad attrarre l'attenzione del pubblico e un aspetto appare evidente: il ritmo dell'innovazione sta accelerando. Non parliamo solo delle innovazioni rivoluzionare apportate ai modelli di IA gen, ma anche di quelle delle tecnologie di supporto che rendono tali modelli rilevanti per un'azienda. Ne è un esempio il metodo Retrieval Augmented Generation (RAG), che ha sostituito il fine tuning come approccio preferito per l'integrazione dei modelli linguistici di grandi dimensioni (LLM) con i dati di un'organizzazione.
Con la rapida evoluzione dell'IA gen, molte organizzazioni ritengono di dover puntare su un fornitore di piattaforme di IA come un hyperscaler e su un unico cloud primario affinché la piattaforma di IA aziendale possa esplorare i territori sconosciuti dell'IA gen. La maggior parte di queste aziende è alla ricerca di una base per l'IA coerente e flessibile sia per l'IA gen che per l'IA predittiva, che offra funzionalità di base per la creazione e il potenziamento dei modelli e sia in grado di utilizzarle nelle applicazioni abilitate per l'IA e nelle attività di gestione e monitoraggio dei modelli. Questo approccio permette alle aziende di non vincolarsi a un fornitore e di scegliere una piattaforma di IA flessibile, che potrà essere eseguita on premise, su diverse piattaforme cloud o all'edge, così da avere il tempo di orientarsi e adattarsi all'evoluzione dell'IA gen.
Prima del rilascio di Red Hat OpenShift AI come servizio cloud completamente gestito, i clienti delle prime versioni beta avevano mostrato interesse a una versione on premise di questa offerta. Al momento, oltre l'80% dei clienti di Red Hat OpenShift AI adotta la versione autogestita per l'utilizzo in sede. In quanto componente aggiuntivo di Red Hat OpenShift, la piattaforma applicativa leader del settore ed eseguita on premise e su tutti i principali cloud pubblici, anche all'edge, Red Hat OpenShift AI integra molte delle funzionalità su cui si basa Red Hat OpenShift. Il fatto che l'IA venga considerata come un'estensione dell'ambiente applicativo permette agli utenti di migliorare l'efficienza di sviluppatori e data scientist.
Riepilogo delle funzionalità di Red Hat OpenShift AI
Di seguito vengono riepilogate alcune delle funzionalità di Red Hat OpenShift AI come singola piattaforma sia per l'IA gen sia per l'IA predittiva.
Addestramento dei modelli: progetti
Red Hat OpenShift AI offre diverse immagini di ambienti di lavoro e un'interfaccia utente di amministrazione con la quale aggiungere immagini personalizzate. L'interfaccia utente del progetto permette agli utenti di organizzare i file di sviluppo del modello, le connessioni dati e altri artefatti necessari per un determinato progetto. I file di sviluppo del modello possono essere creati da immagini di ambienti di lavoro pronte all'uso o personalizzate che forniscono l'accesso alle librerie, ai pacchetti e agli strumenti più diffusi, inclusi i notebook Jupyter, PyTorch e RStudio. Per favorire la collaborazione tra colleghi è possibile utilizzare autorizzazioni specifiche per la condivisione dei progetti. I progetti permettono agli utenti di configurare il cluster di storage in cui salvare i dati e forniscono l'accesso a funzionalità come pipeline, elaborazione e monitoraggio di modelli per data scientist, sviluppatori e altri utenti che contribuiscono al ciclo di vita dell'IA.
Addestramento dei modelli: carichi di lavoro distribuiti
L'addestramento di un modello distribuito è un metodo che sfrutta contemporaneamente più nodi del cluster, accelerando il processo e rendendolo più rapido ed efficiente. L'approccio può essere utilizzato per l'addestramento sia dell'IA predittiva che dell'IA generativa e anche per l'ottimizzazione degli scenari di utilizzo, rendendo possibili attività altrimenti non realizzabili a livello computazionale.
L'insieme dei carichi di lavoro distribuiti integrato in Red Hat OpenShift AI include tecnologie di addestramento e convalida, di ottimizzazione e di inferenza. CodeFlare fornisce un framework intuitivo per le tecnologie di addestramento, in grado di semplificare l'orchestrazione e il monitoraggio dei processi, ed è integrato con tecnologie come Ray per i carichi di lavoro distribuiti e Kueue per la pianificazione e l'accodamento dei processi.
Perfettamente integrata, la funzionalità per i carichi di lavoro distribuiti permette di ottimizzare l'impiego dei nodi grazie al supporto avanzato per gli acceleratori. È possibile assegnare priorità e distribuire i processi, sia in modalità interattiva che in batch. I carichi di lavoro distribuiti possono essere utilizzati anche nelle pipeline di data science, così da sfruttarne le maggiori capacità di elaborazione.
GPU e acceleratori
Una delle funzionalità più vantaggiose di Red Hat OpenShift AI è l'accesso self service alla GPU. I team ITOps possono definire in anticipo l'ambiente delle risorse GPU, sia on premise che nel cloud, così da facilitare a data scientist e sviluppatori la selezione delle configurazioni delle attività di progetto. Il prodotto supporta numerosi acceleratori, tra cui GPU NVIDIA, dispositivi Intel Habana Gaudi e GPU AMD. Grazie alla funzionalità dei profilazione degli acceleratori, gli amministratori possono configurare i tipi di acceleratori più idonei per un carico di lavoro. Gli utenti possono selezionare gli acceleratori in Red Hat OpenShift AI sia dalle interfacce di sviluppo sia dalle interfacce di distribuzione del modello.
Pipeline di data science
Strumenti idoneo all'addestramento dei modelli di machine learning e basati sulle pipeline KubeFlow, le pipeline di data science permettono ai data scientist di automatizzare i passaggi per la distribuzione e il test dei modelli nelle fasi di sviluppo e produzione. Una pipeline di esempio può essere utilizzata per raccogliere i dati, elaborarli, addestrare il modello, scaricare il modello esistente, confrontarlo con quello nuovo e inserire quest'ultimo in DevTest, se le sue prestazioni sono migliori. Come gli altri artefatti dei progetti di IA, le pipeline possono essere monitorate e gestite, ed è possibile anche gestirne le versioni. Grazie a un pratico editor visivo con un'interfaccia drag-and-drop, possono essere create e automatizzate. Infine, le pipeline di data science possono anche eseguire carichi di lavoro distribuiti.
Distribuzione dei modelli
L'interfaccia utente per la distribuzione dei modelli è direttamente integrata nel dashboard e nell'interfaccia dei progetti di Red Hat OpenShift AI e permette di distribuire modelli di provider e framework come Hugging Face, ONNX, PyTorch, TensorFlow e altri. Gli utenti possono scegliere una piattaforma di distribuzione dei modelli basata su KServe o ModelMesh, scegliere tra i vari server e runtime supportati da Red Hat OpenShift AI o integrare il proprio motore di inferenza o i runtime personalizzati, come NVIDIA Triton. La scalabilità delle risorse del cluster, come le CPU e le GPU, dipende dalle esigenze del carico di lavoro. Nel complesso, questo stack utilizza tecnologie open source come KServe, Caikit, vLLM e TGIS per facilitare la distribuzione dei modelli.
Monitoraggio dei modelli
Il dashboard dell'interfaccia utente per il monitoraggio dei modelli permette ai team operativi di monitorare le attività e le metriche prestazionali dei server dei modelli e dei modelli distribuiti. Le schermate di monitoraggio mostrano metriche come il numero di richieste di inferenza riuscite e non riuscite, il tempo medio di risposta dell'inferenza e il consumo di elaborazioni specifiche. Si tratta di informazioni in grado di aiutare gli utenti a scegliere le azioni appropriate, ad esempio l'aggiunta di risorse di elaborazione in presenza di aumenti del numero di richieste e dei tempi medi di risposta.
Integrazioni dei partner tecnologici
Oltre alle integrazioni dirette già presenti in Red Hat OpenShift AI di fornitori quali Starburst, Anaconda, Pachyderm, NVIDIA e Intel, Red Hat collabora con altri fornitori, tra cui AMD, Elastic, Run: ai e Stability AI, per offrire integrazioni estese per una vasta gamma di scenari di utilizzo dell'IA gen.
Per quanto riguarda la piattaforma hardware, Red Hat ha annunciato il supporto ottimizzato e l'integrazione con i microservizi Intel® Enterprise AI e NVIDIA NIM su Red Hat OpenShift AI. Dell ha migliorato Dell APEX Cloud Platform per Red Hat OpenShift, in modo da coprire gli scenari di utilizzo dell'IA con Red Hat OpenShift AI. Cisco ha creato un Cisco Validated Design for MLOps su Red Hat OpenShift AI.
Red Hat OpenShift AI è un componente fondamentale di IBM watsonx.ai e fornisce strumenti e servizi di IA fondamentali per i carichi di lavoro di IA gen. Watsonx.ai offre uno studio di livello enterprise ai compilatori di IA per la distribuzione di applicazioni di IA gen con requisiti low-code o privi di codice, flussi di lavoro di facile utilizzo per lo sviluppo dei modelli e accesso a una libreria di modelli fondativi IBM e di modelli open source selezionati. Red Hat OpenShift e Red Hat OpenShift AI sono prerequisiti tecnici integrati per il software watsonx.ai.
Ambienti disconnessi
Per ragioni di sicurezza e conformità normativa, molti clienti di Red Hat OpenShift AI, di settori che vanno dalla pubblica amministrazione ai servizi finanziari, dall'assistenza sanitaria al manifatturiero, richiedono deployment senza connessione e il supporto per installazioni in ambienti isolati. I cluster senza connessione si trovano in genere su reti con limitazioni e spesso protette da un firewall. In questi casi, i deployment sono molto più complessi e richiedono la capacità di supportare registri privati per il mirroring delle immagini.
Edge
Una delle principali prove a cui è sottoposta una piattaforma di IA è la capacità di supportare gli ambienti edge. L'approccio alla distribuzione dei modelli all'edge di Red Hat OpenShift AI estende il deployment sicuro, coerente e scalabile dei modelli di IA alle posizioni remote. La distribuzione dei modelli all'edge semplifica il processo di deployment, promuove la coerenza tra gli ambienti e protegge il processo di inferenza all'edge. La funzionalità è disponibile solo per Red Hat OpenShift a nodo singolo.
Prova Red Hat OpenShift AI nel tuo cluster, scopri di più sui nostri modelli, demo e soluzioni per l'IA gen e l'IA predittiva e approfondisci come creare una base operativa per l'IA generativa.
Sugli autori
Jeff DeMoss is a Senior Manager of Product Management for Red Hat OpenShift AI, a platform for developing, training, serving, and monitoring AI/ML models. Jeff was previously a product leader at SAS Institute for a suite of Software-as-a-Service (SaaS) applications used by organizations to apply analytics capabilities to optimize their marketing activities.
Will McGrath is a senior principal product marketing manager for Red Hat’s AI/ML cloud service, database access service, and other cloud data services on Red Hat OpenShift. He has more than 30 years of experience in the IT industry. Before Red Hat, Will worked for 12 years as strategic alliances manager for media and entertainment technology partners.
Altri risultati simili a questo
Ricerca per canale
Automazione
Novità sull'automazione IT di tecnologie, team e ambienti
Intelligenza artificiale
Aggiornamenti sulle piattaforme che consentono alle aziende di eseguire carichi di lavoro IA ovunque
Hybrid cloud open source
Scopri come affrontare il futuro in modo più agile grazie al cloud ibrido
Sicurezza
Le ultime novità sulle nostre soluzioni per ridurre i rischi nelle tecnologie e negli ambienti
Edge computing
Aggiornamenti sulle piattaforme che semplificano l'operatività edge
Infrastruttura
Le ultime novità sulla piattaforma Linux aziendale leader a livello mondiale
Applicazioni
Approfondimenti sulle nostre soluzioni alle sfide applicative più difficili
Serie originali
Raccontiamo le interessanti storie di leader e creatori di tecnologie pensate per le aziende
Prodotti
- Red Hat Enterprise Linux
- Red Hat OpenShift
- Red Hat Ansible Automation Platform
- Servizi cloud
- Scopri tutti i prodotti
Strumenti
- Formazione e certificazioni
- Il mio account
- Supporto clienti
- Risorse per sviluppatori
- Trova un partner
- Red Hat Ecosystem Catalog
- Calcola il valore delle soluzioni Red Hat
- Documentazione
Prova, acquista, vendi
Comunica
- Contatta l'ufficio vendite
- Contatta l'assistenza clienti
- Contatta un esperto della formazione
- Social media
Informazioni su Red Hat
Red Hat è leader mondiale nella fornitura di soluzioni open source per le aziende, tra cui Linux, Kubernetes, container e soluzioni cloud. Le nostre soluzioni open source, rese sicure per un uso aziendale, consentono di operare su più piattaforme e ambienti, dal datacenter centrale all'edge della rete.
Seleziona la tua lingua
Red Hat legal and privacy links
- Informazioni su Red Hat
- Opportunità di lavoro
- Eventi
- Sedi
- Contattaci
- Blog di Red Hat
- Diversità, equità e inclusione
- Cool Stuff Store
- Red Hat Summit