Por que o futuro da IA depende de um ecossistema PyTorch aberto e portátil

Este blog é uma adaptação da nossa apresentação no PyTorch Day India. 

No debate entre tecnologia open source e proprietária, o open source sai ganhando (principalmente quando o assunto é IA). No entanto, conforme a IA generativa cresce, as empresas enfrentam uma nova versão de um antigo desafio. A indústria está se movendo em uma velocidade frenética, mas grande parte da infraestrutura subjacente permanece fragmentada ou trancada atrás de portas proprietárias. Se a IA é a chave para liberar um potencial incomparável, ela deve ser aberta em todos os níveis, desde os datasets e pipelines de treinamento até a infraestrutura e as camadas de entrega.

Na Red Hat, nossa visão para esse futuro aberto é clara: qualquer modelo, qualquer acelerador, qualquer nuvem. Para tornar isso realidade, estamos apostando em comunidades open source focadas em causar o máximo de impacto, como a comunidade PyTorch. O PyTorch é o mecanismo que impulsiona a flexibilidade, a escalabilidade e, principalmente, a acessibilidade para todas as empresas, sem importar o hardware ou provedor de nuvem que usam. Para assegurar que a inovação em IA continue democrática, precisamos proteger a autonomia do usuário para escolher as ferramentas e o hardware mais adequados às necessidades específicas dele.

Desenvolvimento para autonomia, democracia e liberdade de escolha

Atualmente, muito do que se fala sobre IA envolve modelos "frontier" enormes. Embora impressionantes, esses modelos podem ser pesados e caros para gerenciar, muitas vezes exigindo as GPUs mais recentes e que mais consomem energia. Isso cria uma barreira ao acesso que reprime a inovação. O caminho nessa jornada é pavimentado por uma inteligência combinável. Para viabilizar isso na comunidade, a Red Hat criou o vLLM Semantic Router. Ao agir como um controlador de tráfego inteligente que encaminha solicitações com base na intenção, a ferramenta permite que as organizações cheguem a um raciocínio de alto nível usando uma infraestrutura mais acessível e eficiente. É assim que colocamos o desenvolvimento com agentes em prática para a comunidade open source, transferindo o poder da IA de monolíticos centralizados para um modelo mais distribuído e colaborativo.

O elemento central de qualquer estratégia de IA é o servidor de inferência: a camada onde o modelo efetivamente interage com o usuário. Para ter transparência e alto desempenho na camada de inferência, a Red Hat se tornou o principal motivador do vLLM, um dos projetos mais importantes da PyTorch Foundation. Nosso trabalho com o vLLM visa possibilitar o máximo de portabilidade no software que atende ao modelo e no próprio modelo. Tudo isso para escalar a IA e satisfazer as necessidades das empresas globais. E como isso funciona na prática? Basicamente, priorizando a ativação do vLLM desde o dia zero assim que os modelos são lançados, indo além do desempenho de nó único e cofundando o llm-d. Ao desagregar componentes principais, como pré-preenchimento e decodificação, ajudamos a desenvolver um padrão aberto e escalável de model serving que reflete a natureza híbrida e distribuída das empresas modernas.

Além do software, o custo e a escassez de hardware continuam sendo alguns dos maiores obstáculos na IA. O software nunca deve ser sacrificado em prol da autonomia ou atuar como um obstáculo à escolha do hardware. É por isso que defendemos um futuro em que o PyTorch possa ser executado de forma simplificada em qualquer ambiente e investimos no desenvolvimento de um ecossistema PyTorch compatível com uma variedade de aceleradores. Isso inclui:

• vllm-cpu: em colaboração com outros líderes da indústria, estamos levando inferência de alto desempenho para as CPUs. Isso é essencial para casos de uso onde custo e energia são restrições significativas.
• OpenReg: esse projeto cria um framework para a rápida ativação de um novo hardware com economia de energia, sem exigir alterações complexas no núcleo do PyTorch.
• Kernels avançados: por meio de projetos como Helion e Triton, a Red Hat está ajudando a simplificar como os desenvolvedores trabalham com diferentes aceleradores, independentemente do hardware subjacente.

Juntos, esses investimentos ajudam a comunidade PyTorch a continuar sendo o local mais versátil e independente de hardware para o desenvolvimento da IA.

Reforço do PyTorch para empresas globais

Para a IA passar de laboratórios experimentais para ambientes de produção de importância crítica, como os que administram bancos, companhias aéreas e hospitais no mundo todo, ela precisa de confiabilidade industrial. Como a terceira maior colaboradora global do projeto PyTorch, o foco da Red Hat não está apenas em novas funcionalidades, mas também no fortalecimento da empresa. Nossas equipes corrigiram mais de 60 problemas no Torch.Compile para assegurar a estabilidade durante cargas de trabalho pesadas e integraram o Red Hat Enterprise Linux (RHEL) ao CI upstream oficial do PyTorch. Quando contribuímos com o PyTorch, fazemos isso para todas as organizações poderem implantar a IA com a mesma confiança que têm em seus sistemas operacionais.

Com os princípios de acesso, autonomia e liberdade, podemos trabalhar as ideias uns dos outros e desenvolver tecnologias mais rápido do que uma organização por conta própria. Temos o compromisso de desenvolver as bases abertas e empresariais de que o mundo precisa para alcançar seu potencial máximo, seja qual for o modelo, o acelerador ou a nuvem.