Inferenza rapida ed efficiente con Red Hat AI

vLLM è un motore di inferenza progettato per ottimizzare il throughput e velocizzare i tempi di risposta degli acceleratori hardware. Avvalendosi dell'algoritmo PagedAttention, ottimizza l'utilizzo della GPU e accelera l'output delle applicazioni di IA generativa. 

Sfrutta vLLM per ottimizzare il deployment di qualsiasi modello di IA gen su qualsiasi acceleratore IA, mantenendo al contempo un comportamento dell'inferenza controllato e prevedibile negli ambienti di produzione.

llm-d è un framework open source nativo di Kubernetes che accelera l'inferenza LLM distribuita in modo scalabile. 

In sostanza, quando un modello di IA riceve query complesse con molti dati, llm-d fornisce un framework che velocizza l'elaborazione. Questa tipologia di architettura modulare e accessibile rende llm-d una piattaforma ottimale per l'inferenza LLM distribuita in modo scalabile. Ciò contribuisce alla scalabilità dell'inferenza senza sacrificare la coerenza, il controllo e la governance dei carichi di lavoro distribuiti.

Utilizza le metriche e le informazioni dei modelli negli ambienti di produzione per individuare le opportunità di miglioramento dei modelli. Visualizza le metriche prestazionali specifiche del modello, come il tempo per il primo token (TTFT), il tasso di hit della KV-cache e l'utilizzo della GPU. Sfrutta queste metriche per monitorare le prestazioni, individuare le anomalie e accertarsi che l'inferenza rispetti i requisiti operativi, di sicurezza e delle policy. 

Ottimizza la scelta di modelli fondativi o personalizzati con un toolkit di modelli diversificato. Adotta tecniche quali la quantizzazione o la sparsità per ridurre i requisiti hardware e i costi dell'inferenza. 

Il toolkit include strumenti come LLM Compressor, che utilizza le ricerche più recenti sulla compressione dei modelli per rendere gli LLM più piccoli, più efficienti dal punto di vista energetico e più veloci. Ciò riduce i requisiti hardware migliorando l'efficienza, senza rinunciare all'accuratezza.

Inoltre, LLM Compressor è compatibile con altri strumenti e piattaforme. Supporta l'inferenza con l'ecosistema Hugging Face Transformers, favorendo la convalida dell'accuratezza prima del deployment. Si interfaccia anche con i framework di fine tuning, consentendo agli utenti di gestire la sparsità durante la supervisione dell'addestramento.

Lo strumento aiuta a raggiungere tutti i risultati elencati e al contempo garantisce la convalida, la riproducibilità e il controllo sul comportamento dei modelli prima del deployment.

Scopri di più su LLM Compressor

Red Hat AI integra un gateway API gestito che consente ai tecnici della piattaforma AI di configurare funzionalità Models-as-a-service (MaaS) interne e che costituisce una metodologia open source, modulare e indipendente dal fornitore per distribuire e utilizzare i modelli negli ambienti di cloud ibrido.

L'accesso gestito ai modelli tramite l'architettura MaaS centralizzata permette di controllare gli accessi a modelli specifici, di applicare le policy e di monitorare l'utilizzo da parte degli utenti, delle applicazioni e degli agenti, supportando così un utilizzo dei modelli affidabile, verificabile, basato su policy e scalabile.

Le modalità semplificate per l'utilizzo dei modelli di IA e delle risorse GPU permettono agli sviluppatori di ottimizzare l'accesso agli endpoint delle API e agli ingegneri della piattaforma di controllare, gestire e monitorare l'utilizzo degli accessi per i modelli ad alte prestazioni in hosting autonomo.

Se abbinata a una tecnologia di inferenza che supporta la scalabilità dei picchi di domanda imprevedibili di modelli e agenti, definire una strategia open source per gestire l'accesso ai modelli garantisce una base stabile per l'Agentic AI, il fine tuning e l'IA su vasta scala.

Utilizza qualsiasi modello di IA gen o scegli nella nostra raccolta ottimizzata di modelli open source di terze parti, convalidati per essere eseguiti in modo efficiente sulla piattaforma Red Hat AI.

La convalida del modello di Red Hat AI si esegue tramite strumenti open source, quali GuideLLM, Language Model Evaluation Harness e vLLM . Ciò assicura la riproducibilità ai clienti e garantisce che i modelli siano convalidati, affidabili e distribuiti in modo coerente nei diversi ambienti.