Acelere o desenvolvimento de software empresarial com a NVIDIA e Modelos como Serviço (MaaS) no Red Hat AI

Desenvolver software com o máximo de eficiência e rapidez possível é uma necessidade competitiva. Quanto mais rápido você puder lançar novos produtos no mercado, maior será a sua vantagem perante os clientes. Nos últimos anos, a desenvolver código com IA tornou-se uma maneira atraente de resolver esses desafios ao realizar tarefas tediosas e repetitivas, além de depurar e testar com mais rapidez. Isso libera tempo valioso para o trabalho de desenvolvimento de maior impacto.

No entanto, a rápida adoção da codificação baseada em IA generativa trouxe novos desafios corporativos. À medida que as organizações escalam o uso de ferramentas de IA, elas se deparam com perguntas críticas: Como garantir a eficiência de custos a longo prazo? Como protegemos a propriedade intelectual e os dados confidenciais dentro e no entorno da base de código? E como podemos atender aos requisitos de conformidade regulatória e de dados? 

A maioria das organizações inicia a sua jornada de IA com serviços de modelos hospedados, o que costuma ser um excelente ponto de partida. Porém, à medida que o uso aumenta, a dependência de endpoints de terceiros hospedados, cobrados com base na quantidade de tokens, pode levar a custos operacionais altos e imprevisíveis. Além disso, você tem controle mínimo sobre a infraestrutura, a segurança e a governança de todo o stack. A falta de controle gera desafios, forçando as organizações a abrir exceções em políticas consolidadas e bem justificadas. A NVIDIA e a Red Hat trabalham juntas para superar esses desafios com plataformas como o Red Hat AI Factory with NVIDIA, que permite executar inferência e ajuste fino de alto desempenho na própria infraestrutura de nuvem híbrida, mantendo a segurança, as políticas de acesso e o uso de GPU sob o controle da empresa. 

Modelos como serviço: IA empresarial nos seus termos

Para solucionar esses desafios, os Modelos como Serviço (MaaS) no Red Hat AI entram em ação.

MaaS é um recurso totalmente integrado ao Red Hat AI que muda fundamentalmente a forma como as empresas gerenciam a IA. Ele permite que as equipes de TI centralizadas hospedem e gerenciem seus próprios modelos em uma infraestrutura multitenant própria, inteiramente sob os termos da sua organização. Esses modelos ficam então disponíveis para atender a vários casos de uso e equipes internas por meio de acesso controlado via token de API.

Essa abordagem de ter um serviço de modelo hospedado privado próprio oferece um nível de governança e controle sem precedentes. Os administradores podem definir camadas de usuários e estabelecer restrições de uso específicas para cada equipe ou projeto, o que garante que cada consumidor interno tenha os recursos necessários e evita o desperdício de recursos caros ociosos. Isso simplifica o acesso ao modelo, gerencia o consumo e permite que as equipes centrais de TI monitorem métricas, prevejam requisitos de capacidade e computação e realizem chargebacks com alto nível de controle e previsibilidade.

Lance seu próprio assistente de código de IA privado hoje mesmo com o nosso novo guia de início rápido de IA

Identificando a necessidade de um caminho prático, seguro e com controle de custos para a codificação com IA, adicionamos um novo guia de início rápido de IA: "Acelere o desenvolvimento de software empresarial com a NVIDIA e MaaS". Este AI quickstart é uma implantação pronta para execução, projetada para você começar a usar o Red Hat AI com uma solução simples e útil imediatamente.

Este AI quickstart (guia de início rápido de IA) oferece um caminho simples e replicável para implantar seu próprio assistente de código de IA privado, aproveitando o poder dos modelos abertos NVIDIA Nemotron e da computação acelerada da NVIDIA no Red Hat AI.

O que há no AI quickstart?

O guia de início rápido de IA oferece todos os componentes necessários para um assistente de código de IA seguro e de alto desempenho:

A plataforma: Red Hat AI, com base no Red Hat OpenShift, fornece a camada de orquestração para todos os seus modelos e cargas de trabalho de IA.

Inferência: vLLM e llm-d com KServe oferecem o desempenho de inferência distribuída de que você precisa ao executar modelos em escala para garantir o melhor desempenho possível e a utilização ideal de recursos.

Grande modelo de linguagem (LLM): AI quickstart usa LLMs líderes, incluindo o modelo NVIDIA Nemotron 3 Nano 30B A3B. Este é um modelo quantizado com precisão FP8, projetado para aplicações eficientes de raciocínio, chat e agentes de IA.

Modelos como serviço: totalmente integrado ao dashboard do Red Hat AI, ele oferece um gateway de API para rastreamento de uso, governança e os dados necessários para um rateio simples de custos entre as equipes.

Red Hat OpenShift Dev Spaces: OpenShift Dev Spaces oferece às suas equipes instâncias de IDE nativas em nuvem para desenvolver e implantar, tudo no mesmo cluster.

Observação: OpenShift Dev Spaces está incluído nas subscrições do OpenShift.

Observabilidade: por meio do Prometheus Operator no OpenShift, você obtém as métricas de inferência e a telemetria de GPU necessárias para entender o uso e o desempenho do modelo entre as equipes.

Aceleração de GPU: este início rápido de IA é executado na infraestrutura de IA da NVIDIA, habilitada pelo NVIDIA GPU Operator, com suporte oferecido pela NVIDIA por meio da subscrição do NVIDIA AI Enterprise. Esse operador habilita as GPUs, gerencia os drivers necessários, o NVIDIA Data Center GPU Manager (DCGM), o container toolkit e os recursos do MIG para particionar aceleradores compatíveis. 

Principais benefícios

O AI quickstart do assistente de código oferece três principais benefícios para os negócios:

1. Controle previsível de custos e orçamento

Ao executar sua própria infraestrutura, você mantém o controle com recursos integrados para definir limites e cotas de taxa de uso, além de monitorar o consumo detalhadamente. Isso simplifica o acompanhamento do orçamento e facilita a previsão dos custos de dimensionamento.

2. Segurança e conformidade integradas

Para organizações com requisitos de governança rigorosos, a segurança é algo de que você não pode abrir mão. O início rápido de IA oferece um exemplo de implantação on-premise ou em nuvem privada que mantém seu código dentro dos limites da sua organização. Como o modelo está hospedado internamente na infraestrutura que você gerencia, você não precisa lidar com chamadas de API externas nem se preocupar com o vazamento de dados.

3. Experiência de desenvolvedor de ponta

Oferecemos a base de um ambiente de alto desempenho de que os desenvolvedores precisam para trabalhar com mais rapidez e eficiência. A inferência de alta velocidade da plataforma, impulsionada por GPUs NVIDIA e pela nossa pilha de inferência vLLM e llm-d, oferece processamento rápido em escala corporativa. Esse desempenho se integra a um ambiente OpenShift Dev Spaces, permitindo que os desenvolvedores colaborem no mesmo cluster para aumentar a produtividade. 

Comece agora

Tudo pronto para aplicar o Model-as-a-Service (MaaS) e os modelos NVIDIA na sua codificação com IA? 

• Confira o guia de início rápido de IA Acelere o desenvolvimento de software empresarial com NVIDIA e MaaS:
  • Este guia de início rápido de IA leva ao nosso repositório no GitHub com o código de implantação completo.
• Confira os requisitos de hardware e software
• Entre em contato por meio do GitHub ou com a sua equipe da Red Hat para tirar dúvidas ou obter orientações sobre o uso do guia de início rápido de IA.

Recursos adicionais

• Confira o catálogo AI quickstarts
• Saiba mais sobre o NVIDIA Nemotron
• Explore os benefícios do Red Hat AI Factory with NVIDIA