Red Hat Al 3 oferece velocidade, entrega acelerada e escala

No Red Hat Summit que aconteceu em maio passado, anunciamos várias novidades sobre o portfólio de IA da Red Hat, entre elas: o lançamento do Red Hat IA Inference Server e dos modelos da plataforma Red Hat IA validados por terceiros, a integração entre as APIs do Llama Stack e do Model Context Protocol (MCP) como uma prévia para os desenvolvedores, além do lançamento do projeto da comunidade llm-d. A iteração mais recente do portfólio, o Red Hat IA 3, oferece muitos desses recursos prontos para produção. Além disso, estamos oferecendo mais ferramentas e serviços para capacitar equipes a aumentar a eficiência, colaborar de forma mais eficaz e implantar em qualquer lugar. Descubra o que o Red Hat IA 3 significa para sua empresa.

1. Alcance novos níveis de eficiência com a inferência com reconhecimento de SLA

A estratégia da Red Hat é atender a qualquer modelo, em qualquer acelerador e ambiente. As melhorias de inferência mais recentes oferecem recursos para atender aos contratos de nível de serviço (SLAs) de aplicações de IA generativa (gen AI), suporte para aceleradores de hardware adicionais e um catálogo expandido de modelos de terceiros validados e otimizados. Alguns destaques incluem:

• O llm-d agora está disponível no Red Hat OpenShift IA 3.0. O llm-d fornece inferência distribuída nativa do Kubernetes, essencial para escalar e gerenciar a natureza imprevisível de grandes modelos de linguagem (LLMs). Ao contrário do comportamento consistente de muitas cargas de trabalho de expansão tradicionais, as solicitações de LLM, como prompts e respostas, podem variar muito, tornando a escalabilidade monolítica altamente ineficiente. Ao distribuir o processo de inferência de maneira inteligente, o llm-d oferece alocação consistente de recursos e tempos de resposta previsíveis, o que é essencial para atender a SLAs rigorosos e otimizar a viabilidade econômica e de desempenho para aplicações de IA generativa empresarial.
• O lançamento mais recente do Red Hat IA Inference Server, versão 3.2, oferece inferência consistente, rápida e econômica por meio de uma versão de nível empresarial do vLLM e acesso aos recursos de otimização de modelos do Red Hat IA. Além disso, ele amplia o suporte das GPUs NVIDIA e AMD que agora inclui também o IBM Spyre. Essa integração de novos aceleradores oferece aos clientes a flexibilidade, a otimização e o gerenciamento de riscos necessários para dar suporte às suas futuras estratégias de IA.
• O Red Hat IA 3 apresenta um novo lote de modelos de terceiros validados e otimizados, que abrange modelos open source de ponta de provedores como OpenAI, Google e NVIDIA. Isso simplifica a seleção de modelos e ajuda as organizações a reduzir os custos de hardware, alcançar uma taxa de transferência mais alta e diminuir a latência durante a inferência. Esses modelos prontos para empresas são disponibilizados no repositório Red Hat IA Hugging Face e no catálogo de modelos do Red Hat OpenShift IA como containers rastreáveis e verificados. Os novos modelos incluem recursos multilíngues, de codificação, resumo, chat e muito mais.
• Para organizações de TI empresarial que buscam se tornar provedoras de modelos para seus usuários, o OpenShift IA 3.0 oferece acesso aos recursos de Modelos como Serviço (MaaS) como uma prévia para desenvolvedores. O MaaS permite que as organizações aproveitem uma combinação de modelos autogerenciados e baseados em API para casos de uso que não podem ser executados em ambientes de nuvem pública. Essa versão inclui um plano de controle de MaaS, um gateway de API integrado, controle de acesso baseado em função (RBAC) e métricas de rastreamento de custos que, juntos, permitem que as organizações centralizem recursos, acelerem a inovação e reduzam os custos operacionais associados à IA privada.

2. Acelere a inovação da Agentic AI

A evolução do desenvolvimento nativo em nuvem revolucionou a forma como muitas organizações criaram aplicações na última década. Da mesma forma, a IA generativa transformou os padrões de desenvolvimento de software. Agora, uma terceira onda de IA está prestes a dar início a uma transformação ainda maior: a Agentic AI.

Vários dos novos recursos do OpenShift IA 3.0 ajudam a estabelecer a base para sistemas e fluxos de trabalho escaláveis de Agentic AI, fornecendo os frameworks, as ferramentas e os recursos necessários para acelerar a entrega da Agentic AI:

• Plataforma de IA modular e adaptável com o Llama Stack: Para aumentar a flexibilidade e simplificar as operações de agentes de IA, lançamos a API Llama Stack como uma prévia técnica no OpenShift IA 3.0. Isso fornece um ponto de entrada padronizado para uma ampla variedade de recursos de IA — desde geração aumentada de recuperação (RAG), segurança e avaliação até telemetria, inferência com vLLM e chamada de ferramentas com MCP — permitindo que as organizações integrem suas próprias APIs, provedores externos e frameworks de agentes preferidos. O Red Hat IA oferece uma plataforma confiável, abrangente e consistente que facilita a implantação, o gerenciamento e a execução de agentes de IA com foco na segurança e em escala em ambientes de produção.
• Suporte ao MCP - Para acelerar a implantação de sistemas de Agentic AI, o OpenShift IA 3.0 oferece suporte para o MCP de padrão aberto emergente como uma prévia para desenvolvedores. O servidor MCP atua como um "tradutor" padronizado para uma ampla variedade de ferramentas externas, fontes de dados e aplicações. Ele complementa a API do Llama Stack lidando com as integrações complexas com aplicações externas e fontes de dados, liberando o Llama Stack da necessidade de uma integração personalizada para cada ferramenta externa. Também selecionamos uma coleção de servidores MCP. Isso permite que os ISVs (fornecedores de software independente) conectem suas ferramentas e serviços diretamente ao Red Hat IA.
• Experiências dedicadas e simplificadas: O OpenShift IA 3.0 oferece experiências dedicadas, como o hub de IA e o gen AI studio, que atendem às necessidades específicas dos engenheiros de plataforma e IA. O hub de IA capacita os engenheiros de plataforma a explorar, implantar e gerenciar ativos fundamentais, como LLMs e servidores MCP. Ele serve como ponto central para gerenciar o ciclo de vida e a governança dos ativos de IA. O gen AI studio oferece aos engenheiros de IA um ambiente hands-on para descobrir, testar e gerenciar ativos de IA implantados. Os engenheiros de IA podem experimentar diferentes modelos, ajustar hiperparâmetros e criar protótipos de aplicações de IA generativa, como chat e RAG.

3. Conexão de modelos aos seus dados privados

O Red Hat IA 3 permite que as equipes melhorem o desempenho e a precisão do modelo, oferecendo várias maneiras de personalizar a IA para seu domínio. As ferramentas do Red Hat IA 3 são acessíveis a colaboradores de todos os níveis de experiência em IA, incluindo desenvolvedores, cientistas de dados e engenheiros de IA. Isso simplifica a colaboração e a interoperabilidade. Os novos recursos incluem:

• Abordagem modular e extensível: OpenShift IA 3.0 introduz um novo conjunto de ferramentas modulares e extensíveis para personalização de modelos, exemplificando a progressão do InstructLab à medida que ele passa de uma metodologia poderosa e completa para uma abordagem mais flexível. O kit de ferramentas inclui bibliotecas Python individuais e especializadas para ingestão de dados, geração de dados sintéticos (SDG), ajuste de modelos e avaliação, oferecendo às equipes maior controle e um caminho mais eficiente para a personalização de modelos. Isso permite que cientistas de dados, pesquisadores e engenheiros de IA selecionem somente os componentes de que precisam, o que os ajuda a trabalhar com mais rapidez e eficiência.
• Recursos de RAG aprimorados: uma nova e melhor experiência de RAG agora está disponível no OpenShift IA. Esse fluxo de trabalho simplificado permite que desenvolvedores e engenheiros de IA acessem facilmente fontes de dados com tecnologias open source, como docling, e as conectem a modelos, aplicações e agentes. A plataforma agora é compatível com as APIs de integração e conclusão da OpenAI, juntamente com as opções do Llama Stack, oferecendo flexibilidade para implantar soluções RAG em diferentes ambientes, mantendo a funcionalidade consistente.

4. Escalabilidade da IA na nuvem híbrida

Produtividade, consistência e uma experiência de usuário aprimorada são essenciais para uma estratégia de IA bem-sucedida. Na Red Hat, nosso objetivo é oferecer uma plataforma de IA que permita às empresas criar, ajustar, implantar e gerenciar de maneira consistente os modelos de IA e aplicações de agentes em escala na nuvem híbrida, entregando uma experiência unificada que aumenta o time to value (TTV). O OpenShift IA 3.0 oferece: 

• Controle centralizado por meio de um registro de modelos: o registro de modelos oferece uma experiência mais otimizada para gerenciar modelos de IA, permitindo que as equipes descubram, reutilizem e gerenciem com mais facilidade uma ampla variedade de ativos, desde modelos e artefatos próprios do cliente até opções populares da comunidade e de terceiros. Esses recursos são projetados para aumentar a produtividade, promover a consistência e ajudar a garantir o gerenciamento centralizado do ciclo de vida.
• Experiência de usuário aprimorada para pipelines de IA: oferece as ferramentas que cientistas de dados e engenheiros de IA precisam para treinar e ajustar modelos mais rapidamente, simplificando fluxos de trabalho por meio de exemplos executáveis e componentes reutilizáveis. Além disso, consegue trazer seus próprios fluxos de trabalho do Argo para ter o máximo de flexibilidade.
• Observabilidade aprimorada: o OpenShift IA 3.0 inclui métricas de plataforma fundamentais com o padrão de observabilidade OpenTelemetry, monitoramento de GPU com configuração zero e painéis de referência para as principais métricas de IA, como time to first token e taxa de transferência. A solução também consegue exportar APIs para uma integração simplificada com plataformas de monitoramento empresariais.
• GPU como serviço inteligente: o OpenShift IA 3.0 usa recursos avançados para aprimorar a utilização da GPU, maximizar a eficiência e apoiar uma ampla variedade de cargas de trabalho. Com o fatiamento de aceleradores para todos os dispositivos habilitados para NVIDIA MIG, as empresas podem particionar GPUs para vários usuários, garantindo que nenhum recurso seja desperdiçado. Ao utilizar o Kueue, a plataforma apoia um conjunto mais diversificado de cargas de trabalho de IA, incluindo tarefas de treinamento do Ray, tarefas de treinamento baseadas em operador e serviços de inferência para agendamento e gerenciamento eficientes em hardware compartilhado.

Uma nova abordagem para a IA empresarial

O Red Hat IA é baseado na crença de que a IA empresarial não é uma solução única para todos os casos. É uma abordagem estratégica e holística que reconhece a complexidade e a diversidade dos desafios empresariais do mundo real. A Red Hat oferece uma plataforma flexível que capacita as organizações a irem além do status quo, oferecendo a liberdade de escolher qualquer modelo, hardware ou estratégia de implantação na nuvem híbrida. Esse compromisso com a escolha, o controle e a eficiência é o que nos diferencia. Não oferecemos somente IA, mas fornecemos uma base abrangente e confiável para as organizações aproveitarem ao máximo seus investimentos em IA.

Para saber mais sobre o Red Hat IA 3 e descobrir como você pode construir IA para o seu mundo, assista à nossa sessão ao vivo de Novidades e o que vem por aí e acesse nosso site.