Inferência rápida e eficiente com o Red Hat AI

O vLLM é um mecanismo de inferência projetado para otimizar a taxa de transferência e reduzir os tempos de resposta em aceleradores de hardware. Ele usa o algoritmo PagedAttention para otimizar a utilização da GPU e entregar os resultados de aplicações de IA generativa com rapidez. 

Use o vLLM para otimizar a implantação de modelos de gen AI em qualquer acelerador, mantendo um comportamento de inferência controlado e previsível em ambientes de produção.

O llm-d é um framework open source nativo do Kubernetes que acelera a inferência distribuída de LLMs em grande escala. 

Quando um modelo de IA recebe consultas complexas com muitos dados, o llm-d fornece um framework que agiliza o processamento. Sua arquitetura acessível e modular faz do llm-d a plataforma ideal para inferência distribuída de LLMs em grande escala. Isso viabiliza a inferência escalável enquanto mantém a consistência, o controle e a governança em cargas de trabalho distribuídas.

Use métricas e insights de modelos em produção para descobrir onde e como seus modelos podem melhorar. Confira métricas de desempenho específicas do modelo, como tempo até o primeiro token, taxa de acertos do cache de chave-valor (KV cache) e utilização da GPU. Use esses dados para monitorar o desempenho, detectar anomalias e ajudar a inferência a atender aos requisitos operacionais, de segurança e de políticas. 

Otimize sua escolha de modelos básicos ou personalizados com um kit de ferramentas diversificado. Use técnicas como quantização ou esparsidade para reduzir os requisitos de hardware e os custos de inferência. 

O kit inclui ferramentas como o compressor de LLM, que usa as pesquisas mais avançadas em otimização de modelos para tornar os LLMs menores, mais eficientes energeticamente e mais rápidos. Isso reduz os requisitos de hardware e melhora a eficiência sem comprometer a precisão.

Além das suas funcionalidades principais, o compressor de LLM se integra a diversas outras ferramentas e plataformas. Ele oferece suporte à inferência dentro do ecossistema Hugging Face Transformers, permitindo a validação da precisão antes de implantar. Além disso, se integra a frameworks de ajuste fino, para que os usuários consigam manter a esparsidade durante o treinamento supervisionado.

O compressor de LLM ajuda a alcançar tudo isso mantendo a validação, a reprodutibilidade e o controle sobre o comportamento do modelo antes da implantação.

Mais informações sobre o compressor de LLM

O Red Hat AI integra um gateway de API gerenciado que permite que os engenheiros de plataforma de IA configurem as capacidades internas de Models-as-a-Service (MaaS). Ela oferece uma maneira aberta, modular e independente de fornecedores para implantar e operar modelos em ambientes de nuvem híbrida.

O acesso regulado aos modelos, por meio de uma arquitetura de MaaS centralizada, permite controlar quem pode acessar modelos específicos, implementar políticas e monitorar o uso entre usuários, aplicações e agentes. Isso viabiliza o consumo de modelos confiáveis, auditáveis ​​e orientados por políticas em grande escala.

Com maneiras mais simples de consumir modelos de IA e recursos de GPU, os desenvolvedores podem simplificar o acesso aos endpoints das APIs e os engenheiros de plataforma conseguem controlar, regular e monitorar o consumo do acesso para modelos self-hosted de alto desempenho.

Uma estratégia aberta para gerenciar o acesso aos modelos, combinada com um stack de inferência capaz de absorver demandas imprevisíveis e escalar com modelos e agentes, oferece uma base sólida para agentes de IA , ajuste fino e IA em escala.

Use qualquer modelo de gen AI ou escolha modelos open source validados de terceiros na nossa coleção otimizada para a plataforma do Red Hat AI.

A validação de modelos do Red Hat AI é realizada com ferramentas open source como o GuideLLM, o Language Model Evaluation Harness e o vLLM. Isso facilita a reprodutibilidade para os clientes, além de garantir modelos validados, confiáveis e consistentes para implantações em qualquer ambiente.