Capitolo 3. una tecnologia open source flessibile coniuga l'innovazione dell'IA con la stabilità operativa
Red Hat®AI accelera lo sviluppo e il deployment di soluzioni IA per le aziende in ambienti cloud ibridi. Si tratta di una piattaforma completa che soddisfa i clienti ovunque si trovino, che si tratti di principianti o di architetture di livello enterprise complete, supportando al contempo il deployment di qualsiasi modello su qualsiasi acceleratore hardware. Combinando la potenza delle tecnologie open source con modelli all'avanguardia, Red Hat AI aiuta le organizzazioni ad accelerare la fase di discovery e a democratizzare l'accesso agli strumenti di IA più recenti.
Red Hat AI include Red Hat AI Enterprise, per le aziende che desiderano eseguire il deployment e la scalabilità in modo efficiente in qualsiasi ambiente; Red Hat AI Inference Server, per l'inferenza ottimizzata dei modelli linguistici di grandi dimensioni (LLM); Red Hat OpenShift® AI, per gli ambienti della piattaforma Kubernetes distribuiti; Red Hat Enterprise Linux AI, per i singoli ambienti server Linux; e Red Hat AI Accelerator, per il supporto delle funzionalità di accelerazione hardware in Red Hat OpenShift. Queste soluzioni combinano la potenza delle tecnologie open source con modelli open source all'avanguardia, aiutando le organizzazioni ad accelerare la fase di discovery e a democratizzare l'accesso a strumenti e tecnologie all'avanguardia. L'accesso alle innovazioni più recenti è completato dall'ecosistema dei partner di Red Hat, che offre una gamma di prodotti e servizi dei partner testati, supportati e certificati per funzionare con le nostre tecnologie e aiutare i clienti a risolvere le loro sfide aziendali e tecniche.
Insieme, questi prodotti, servizi e tecnologie offrono:
Inferenza flessibile ed efficiente
Red Hat AI ottimizza l'inferenza dei modelli negli ambienti di cloud ibrido per aiutare le organizzazioni a distribuire i modelli preferiti in modo più conveniente e in meno tempo. Il suo runtime, vLLM, massimizza il throughput e riduce al minimo la latenza, mentre la funzionalità LLM Compressor utilizza tecniche di quantizzazione avanzate per migliorare la velocità di inferenza senza sacrificare l'accuratezza delle previsioni. Il risultato è un ambiente ad alte prestazioni per la distribuzione di modelli in un'ampia gamma di applicazioni.
Collega i modelli ai dati
Red Hat AI semplifica l'integrazione dei dati aziendali privati con i modelli di IA, fornendo strumenti standardizzati per la preparazione e l'acquisizione delle informazioni per basare i risultati dell'IA su conoscenze aziendali specifiche e pertinenti. Le organizzazioni possono migliorare le prestazioni dei modelli con tecniche di personalizzazione, tra cui il fine tuning, la retrieval-augmented generation (RAG) e l'ottimizzazione dei prompt. Questo approccio garantisce che i modelli di IA siano allineati agli scenari aziendali per offrire risultati misurabili.
Innovazione dell'IA basata su agenti
Red Hat AI offre una base affidabile per i leader delle organizzazioni che si concentrano sulla sicurezza dell'intera piattaforma, dall'hardware agli agenti, garantendo l'applicazione delle policy e il contenimento dei rischi. La piattaforma offre inferenza ad alte prestazioni, l'accesso a modelli accurati e un'esperienza semplificata per connettere i dati agli agenti. Grazie alle funzionalità AgentOps, Red Hat AI offre una governance incentrata sulla sicurezza e il controllo degli accessi basato sull'identità, offrendo ai team la flessibilità di utilizzare i propri framework di agenti. In questo modo, i deployment dell'IA continuano a essere protetti, osservabili e completamente gestiti.