Cosa sono i modelli Granite?

Granite è una serie di modelli linguistici di grandi dimensioni (LLM) creata da IBM per le applicazioni aziendali. I modelli fondativi Granite supportano gli scenari di utilizzo dell'intelligenza artificiale generativa (gen IA) che coinvolgono linguaggio e codice.

I modelli della famiglia Granite sono open source garantiti dalla licenza Apache 2.0, il che significa che gli sviluppatori possono sperimentare, modificare e distribuire i modelli Granite gratuitamente. Ciò rende i modelli Granite una buona scelta per le organizzazioni che si occupano di dati sensibili e desiderano eseguire il proprio LLM anziché affidarsi a un servizio esterno.

Scopri la collaborazione tra Granite e Red Hat

I modelli fondativi sono addestrati per avere una comprensione generica di andamenti, strutture e rappresentazioni della lingua. Questo addestramento fondamentale insegna al modello a comunicare e a identificare gli schemi ricorrenti. Si chiama inferenza AI. L'inferenza IA è la fase operativa dell'intelligenza artificiale, ovvero il momento in cui il modello è in grado di applicare alle situazioni concrete ciò che ha appreso dall'addestramento.

I vantaggi dell'inferenza IA 

I modelli di IA IBM Granite hanno questa conoscenza di base che si può poi ottimizzare per permettere al modello di svolgere compiti specifici in pressoché qualunque settore. Sono addestrati su dati curati e garantisco la trasparenza sui dati utilizzati per l'addestramento.

Gli LLM sfruttano l'IA gen per produrre contenuti nuovi a partire da un prompt dell'utente. Oggi l'IA gen viene utilizzata soprattutto per generare testi, immagini, video e codice. In ambito aziendale i modelli fondativi LLM possono aiutare le organizzazioni ad automatizzare diversi aspetti delle operazioni, come l'assistenza clienti o i test del codice software.

Altri modelli fondativi LLM basati su IA gen sono: LLaMa di Meta (compresi LLaMa 2 e LLaMa 3), Gemini di Google, Claude di Anthropic, GPT di OpenAI (noto per il suo bot ChatGPT) e Mistral. I modelli di IA Granite però si differenziano dalla concorrenza per la trasparenza sui dati per l'addestramento; un approccio che aumenta la fiducia degli utenti e rende questi modelli particolarmente adatti agli ambienti aziendali.

Sì, alcuni dei modelli Granite AI sono disponibili con una licenza open source, il che significa che gli sviluppatori possono accedere facilmente al modello e utilizzarlo in locale. Quindi possono perfezionare il modello per i loro obiettivi specifici. Gli utenti hanno anche accesso alla maggior parte dei dati utilizzati per l'addestramento del modello (PDF). In questo modo possono sapere come è stato sviluppato e comprenderne meglio il funzionamento.

Nel caso dei modelli Granite, open source significa offrire agli sviluppatori uno spazio dove personalizzare i modelli con i dati aziendali perché generino risultati pertinenti per l'organizzazione. Ciò non significa che i dati privati di tutti siano disponibili per l'intera community open source. A differenza dell'IA dei servizi web pubblici, i modelli Granite non vengono addestrati continuamente. I dati inseriti nei modelli Granite non sono condivisi con Red Hat, IBM o con gli altri utenti Granite.

Le aziende di molti settori, dalla sanità all'edilizia, possono beneficiare dei modelli Granite, sfruttandoli per automatizzare le operazioni con scalabilità. Questo modelli si possono addestrare per svolgere attività specifiche, come riassumere contenuti, formulare risposte e classificare. Gli scenari di utilizzo sono svariati, di seguito alcuni esempi.

• Generazione di codice: i modelli Granite per la generazione di codice sono in grado di ottimizzare i processi, rendendo più efficienti i cicli di sviluppo. Un esempio è la funzionalità di completamento automatico. Analogamente a quanto succede sugli smartphone, il modello è capace di completare automaticamente una stringa di codice più velocemente rispetto al tempo che occorre a uno sviluppatore per digitarla manualmente.
• Estrazione di informazioni: Granite offre uno strumento di notevole efficacia agli utenti che devono semplificare, sintetizzare o analizzare set di dati di grandi dimensioni perché è in grado di identificare rapidamente informazioni e schemi accurati. In questo modo si evita di dover raccogliere molti dati. 

• Architettura flessibile: Granite si integra ai sistemi in uso e si può distribuire sia on premise che nel cloud. Le sue interfacce sono progettate per semplificare il deployment. La famiglia Granite offre modelli di diverse dimensioni affinché le aziende possano scegliere il modello che meglio si adatta alle loro esigenze e al loro budget.
• Soluzioni personalizzate: Granite è venduto come modello fondativo, ma è progettato per essere addestrato a svolgere compiti specifici per le singole aziende. Gli utenti possono estendere e ottimizzare il modello in base alle esigenze aziendali. Ad esempio, le organizzazioni che utilizzano dispositivi medici possono addestrare il modello sul linguaggio tecnico del settore sanitario.
• Latenza ridotta: eseguire un modello Granite nella propria infrastruttura significa ottenere tempi di risposta più rapidi. Il modello fornisce dati in tempo reale, una capacità utile per le operazioni critiche. Ad esempio, rimanendo nel settore sanitario, l'accessibilità ai dati in tempo reale è un aspetto cruciale per la collaborazione remota tra dottore e paziente e per l'erogazione tempestiva di assistenza medica. La compressione del modello Granite consente di ottenere prestazioni elevate con un numero ancora inferiore di risorse.
• Precisione elevata: gli sviluppatori possono eseguire il fine tuning dei modelli Granite perché apprendano linguaggi settoriali ed eseguano attività specifiche. I modelli si possono anche addestrare su più lingue in modo da garantire precisione e accessibilità a livello globale.
• Trasparenza: Granite è disponibile con licenza open source. Questo significa che gli sviluppatori possono verificare in che modo è stato sviluppato e addestrato il modello, oltre a collaborare con la community open source.

Sì, i modelli Granite supportano le funzionalità di inferenza distribuita. 

Con l'inferenza distribuita i modelli di IA elaborano i carichi di lavoro in modo più efficiente, suddividendo le attività di inferenza su un gruppo di dispositivi interconnessi. L'inferenza distribuita supporta un sistema che suddivide le richieste su un parco hardware costituito da server fisici e cloud, 

in cui parallelamente ogni server di inferenza elabora la parte assegnata e genera un output. Ne risulta un sistema resiliente e osservabile per l'erogazione di servizi basati sull'IA coerenti e scalabili. Framework come llm-d supportano l'inferenza distribuita in modo scalabile per velocizzare le applicazioni di IA generativa in tutta l'azienda.

Scopri con cos'altro può aiutarti l'inferenza distribuita 

In poche parole, non esiste IA senza inferenza. 

Tuttavia, l'inferenza subisce molta pressione da modelli che continuano a crescere. Man mano che i modelli diventano più complessi, l'inferenza diventa più lenta.

Affinché l'inferenza funzioni al meglio, i modelli di IA devono eseguire molti calcoli in un breve periodo di tempo. Pertanto, fattori come le dimensioni del modello, il volume elevato degli utenti e la latenza possono limitare le prestazioni. Quando i modelli richiedono più dati e più memoria, hardware e acceleratori faticano a tenere il passo.

Ecco perché l'hardware e il software che supportano le tue funzionalità di inferenza possono supportare o ostacolare la tua strategia di IA e il motivo per cui Granite è progettato per funzionalità di inferenza di livello superiore.

I vantaggi dell'inferenza IA 

IBM ha rilasciato diverse serie di modelli Granite per soddisfare i bisogni delle applicazioni aziendali sempre più esigenti. Le serie di modelli che compongono la famiglia Granite sono convenzionalmente suddivise in categorie e hanno denominazioni particolari.

Ciascuna serie ha uno scopo preciso.

• Granite for Language: questi modelli offrono elaborazione del linguaggio naturale (NLP) accurata in diverse lingue e assicurano ridotta latenza. 

  Scopri gli scenari di utilizzo dell'IA generativa

• Granite per Code: questi modelli sono addestrati su oltre 100 diversi linguaggi di programmazione per supportare attività di sviluppo di livello enterprise.
• Granite for Time Series: questi modelli sono ottimizzati per la previsione delle serie temporali, un metodo per predire i dati futuri grazie ai dati storici disponibili.

• Granite for GeoSpatial: IBM e la NASA hanno sviluppato un modello fondativo che, grazie ai dati su larga scala raccolti dai satelliti, aiuta a monitorare e affrontare i cambiamenti climatici attraverso l'osservazione della Terra.

  Scopri gli scenari di utilizzo dell'IA predittiva

Per ciascuna serie IBM offre modelli di diverse dimensioni e specializzati in attività differenti. Ad esempio, Granite for Language comprende:

• Granite-7b-base, un modello per utilizzo generico adatto alla generazione di chat e conversazioni.
• Granite-7b-instruct, un modello specializzato nell'esecuzione di istruzioni.

Scopri i modelli Granite su Hugging Face

Red Hat® AI è progettato per un'inferenza rapida, flessibile ed efficiente tramite un server basato su vLLM. Collega in modo affidabile i modelli ai dati per unificare la personalizzazione e lo sviluppo di agenti specializzati su un'unica piattaforma. Realizzati su una base open source, i nostri prodotti offrono il pieno controllo dei flussi di lavoro dell'IA, dall'inizio alla fine, su qualsiasi scala. 

L'offerta Red Hat AI include Red Hat AI Inference, uno stack di inferenza che fornisce il controllo operativo necessario per l'esecuzione di qualsiasi modello su qualsiasi acceleratore nel cloud ibrido. Ottieni un'inferenza rapida, efficiente e conveniente in modo scalabile. 

Scopri le soluzioni Red Hat AI