Todo o poder da IA: GPU como serviço com a Red Hat

As unidades de processamento gráfico (GPUs) são essenciais para as IAs generativa e preditiva. Para cientistas de dados e engenheiros que trabalham com machine learning e inteligência artificial (IA), as GPUs são ferramentas indispensáveis para treinar, validar, ajustar e implantar modelos. Gerenciar esses recursos essenciais pode ser uma tarefa complexa e, muitas vezes, isso acaba atrasando o desenvolvimento e a inovação.

Limitações da infraestrutura não devem atrasar sua organização. Sua equipe deve focar na criação, aprimoramento e uso de modelos de IA, e não em administrar uma infraestrutura de GPU complexa. É por isso que as operações de TI (ITOps) têm um papel fundamental ao viabilizar o desenvolvimento ágil de IA e a inferência, oferecendo acesso sob demanda a GPUs, conhecido como GPU como Serviço.

O desafio das GPUs: uma dor de cabeça para as equipes de ITOps

Montar uma infraestrutura de GPU eficiente para cargas de trabalho de IA não é uma tarefa simples, e as equipes de ITOps enfrentam diversos desafios no processo:

• Escassez de GPUs e limitações orçamentárias: o acesso pode ser limitado devido a oferta reduzida, limitações da nuvem e concorrência interna. A situação piora com a ausência de opções e controle do cliente sobre a arquitetura do acelerador subjacente, além de outros desafios associados. As GPUs têm custos elevados, tanto de aquisição quanto operacionais, e muitas vezes não são bem utilizadas.
• A falta de acesso às GPUs incentiva o uso da shadow IT: quando cientistas de dados, engenheiros de machine learning e de IA não conseguem obter GPUs rapidamente, acabam recorrendo à chamada "shadow IT". Isso pode levar ao uso de serviços de terceiros, expondo dados confidenciais da empresa, ou à aquisição independente de recursos de GPU em diversos provedores de nuvem, aumentando custos e riscos de segurança. Isso causa perda de controle sobre recursos, segurança de dados e conformidade.
• Infraestrutura de GPU fragmentada: os recursos de GPU costumam estar espalhados por data centers on-premise, várias nuvens públicas e até mesmo locais de edge. Esse ambiente heterogêneo, com diversos tipos de aceleradores, como GPUs, aceleradores de IA e diferentes arquiteturas, torna o gerenciamento complexo, dificulta a alocação eficaz dos recursos, reduz a eficiência e eleva os custos.
• Caixa preta da utilização da GPU: as organizações costumam ter dificuldade para rastrear o uso das GPUs na empresa, o que dificulta maximizar o retorno sobre o investimento (ROI) e identificar recursos subutilizados. Em um ambiente de multi-tenancy, é desafiador definir políticas de uso justo, alocar recursos com precisão e distribuir o orçamento adequadamente.
• Obtenção de GPUs multi-tenancy seguras: garantir a segurança de dados em ambientes compartilhados é um desafio que exige isolamento do tráfego de rede entre tenants, proteção contra vazamentos e acessos indevidos, além do cumprimento de requisitos regulatórios com rastreabilidade e evidências de conformidade.

Solução da Red Hat: resolvendo o quebra-cabeça da GPU com GPU como Serviço

A Red Hat oferece uma abordagem completa para enfrentar esses desafios. Nossa abordagem tem como foco consolidar e simplificar a infraestrutura de GPU subjacente. Ao agrupar aceleradores de diferentes tipos, tamanhos e localizações, como ambientes on-premise, em nuvem e na edge, as organizações simplificam o gerenciamento e a orquestração em uma plataforma unificada.

A plataforma do Red Hat AI otimiza o desempenho e a eficiência ao combinar de maneira inteligente as cargas de trabalho com os recursos de GPU mais adequados, maximizando a utilização por meio de programação e posicionamento eficientes. Para ajudar as organizações a manter visibilidade e controle, também oferecemos monitoramento de GPU em tempo real, permitindo identificar obstáculos e otimizar a alocação de recursos. Com melhorias contínuas, será possível rastrear os padrões de uso e consumo para otimizar os custos.

Esse sistema também viabiliza uma GPU multi-tenancy protegida e eficiente. Ele isola ambientes de tenant com segurança de rede robusta e isolamento de dados. Ele também aplica controles de acesso granulares e cotas de recursos para cada tenant, facilitando a conformidade e a manutenção de trilhas de auditoria para segurança e governança.

Principais componentes para oferecer GPU como serviço

A Red Hat usa tecnologias open source avançadas para oferecer suas ofertas de GPU como serviço, principalmente no Red Hat OpenShift e no Red Hat OpenShift AI.

O Kueue é um scheduler inteligente e open source para Kubernetes que prioriza cargas de trabalho críticas, antecipando tarefas de menor prioridade quando necessário. Ele gerencia cotas para alocação justa de recursos entre equipes e otimiza o uso desses recursos para evitar obstáculos e aumentar a eficiência. O Kueue funciona com despacho de tarefas, enfileiramento e agendamento.

A capacidade de particionar GPUs permite um compartilhamento mais eficiente, dividindo-as em GPUs virtuais menores e alocando recursos dinamicamente. Isso facilita o compartilhamento de recursos, permitindo que vários usuários compartilhem uma única GPU física, melhorando o uso de recursos e aumentando a utilização da GPU. 

A solução da Red Hat também usa diversas tecnologias open source para otimizar o ciclo de vida da IA, desde o treinamento e ajuste fino até a inferência. Para treinamento e ajuste fino, o stack inclui tecnologias como PyTorch, Ray, Kubeflow Training e KubeRay. Ele usa o CodeFlare para o envio de tarefas e o Kueue para enfileiramento e agendamento.

Para inferência, o Red Hat AI usa o vLLM para garantir eficiência de memória em large language models (LLMs) e o KServe para model serving mais abrangente. Ele também é compatível com frameworks como PyTorch, Hugging Face TGI e ONNX.

Além disso, o Red Hat OpenShift AI oferece recursos avançados para gerenciamento de GPUs e aceleradores. Isso inclui selecionar GPUs ociosas para workbenches e configurar fatias, otimizando a alocação de recursos. A plataforma também oferece imagens prontas para uso, com as bibliotecas necessárias para suporte aos aceleradores. Ele também oferece ferramentas de observabilidade para monitorar o status das cargas de trabalho de usuários individuais, do cluster na totalidade, das filas e do uso de GPU.

Red Hat: sua parceira na inovação em IA

A Red Hat, líder mundial no fornecimento de soluções de software open source empresarial, pode ajudar você a configurar seu sistema de GPU como serviço. Ao oferecer GPUs sob demanda para cargas de trabalho de IA com foco em segurança e privacidade, a Red Hat ajuda cientistas de dados, engenheiros de ML e IA a priorizarem a criação, não a infraestrutura.

Para mais informações sobre as soluções de IA do portfólio Red Hat AI, fale com um especialista da Red Hat.