Red Hat anuncia acordo definitivo para aquisição da Neural Magic

A Red Hat, Inc., líder global no fornecimento de soluções open source, anunciou hoje que assinou um acordo definitivo para adquirir a Neural Magic, pioneira em software e algoritmos que aceleram cargas de trabalho de inferência de IA generativa (gen AI). A expertise da Neural Magic em engenharia de desempenho de inferência e o comprometimento com o open source se alinham com a visão da Red Hat de que cargas de trabalho de IA de alto desempenho mapeiem diretamente casos de uso e dados específicos do cliente, em qualquer ambiente e em qualquer lugar na nuvem híbrida.

Embora a promessa da gen AI domine grande parte do cenário tecnológico atual, os grandes modelos de linguagem (LLMs) que sustentam esses sistemas continuam a crescer. Como resultado, a construção de serviços de LLM confiáveis e com boa relação custo-benefício exige poder de computação significativo, energia e habilidades operacionais especializadas. Esses desafios inviabilizam efetivamente os benefícios da IA personalizada, pronta para implantação e mais segura para a maioria das organizações.

A Red Hat pretende abordar esses desafios tornando a gen AI mais acessível a mais organizações por meio da inovação aberta do vLLM. Desenvolvido pela UC Berkeley, o vLLM é um projeto open source mantido pela comunidade para serviço de modelo aberto (como os modelos de gen AI inferem e resolvem problemas), com suporte para todas as principais famílias de modelos, pesquisa avançada de aceleração de inferência e diversos backends de hardware, como GPUs AMD, AWS Neuron, Google TPUs, Intel Gaudi, GPUs NVIDIA e CPUs x86. A liderança da Neural Magic no projeto vLLM combinada com o forte portfólio de tecnologias de IA de nuvem híbrida da Red Hat oferecerá às organizações um caminho aberto para a construção de estratégias de IA que atendam às suas necessidades exclusivas, onde quer que seus dados estejam.

Red Hat + Neural Magic: possibilitando um futuro com a gen AI pronta para a nuvem híbrida

A Neural Magic fez um spin-off do MIT em 2018 visando construir software de inferência de alto desempenho para aprendizado profundo. Com a tecnologia e a expertise em engenharia de desempenho da Neural Magic, a Red Hat visa acelerar sua visão para o futuro da IA, impulsionada pelo portfólio de tecnologia de IA da Red Hat. Construída para superar os desafios da IA empresarial em larga escala, a Red Hat usa inovação open source para democratizar ainda mais o acesso ao poder transformador da IA por meio de:

• Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida - em data centers corporativos, em várias nuvens e na edge.
• Funcionalidades de ajuste que permitem que as organizações customizem LLMs mais facilmente com seus dados privados e casos de uso com uma estrutura de segurança mais robusta;
• Experiência em engenharia de desempenho de inferência, resultando em maiores eficiências operacionais e de infraestrutura
• Um ecossistema open source e de parceiros e estruturas de suporte que possibilitam que os clientes tenham mais opção de escolha, desde LLMs e ferramentas até hardware de servidor certificado e arquiteturas de chip subjacentes.

Liderança vLLM para aprimorar a Red Hat AI

A Neural Magic usa sua expertise e conhecimento em vLLM para construir uma pilha de inferência de nível empresarial que permite otimizar, implantar e dimensionar cargas de trabalho LLM em ambientes de nuvem híbrida com controle total sobre a escolha da infraestrutura, políticas de segurança e ciclo de vida do modelo. A Neural Magic também desenvolve pesquisa de otimização de modelo, constrói o LLM Compressor (uma biblioteca unificada para otimizar LLMs com algoritmos de esparsidade e quantização de última geração) e mantém um repositório de modelos pré-otimizados prontos para serem  implantados com vLLM.

A Red Hat AI visa ajudar os clientes a reduzir os custos da IA e barreiras de habilidades com tecnologias poderosas, incluindo:

• Red Hat Enterprise Linux AI (RHEL AI), uma plataforma para modelos de base para desenvolver, testar e operar perfeitamente a família IBM Granite de LLMs open source para aplicações empresariais em implantações de servidor Linux;
• Red Hat OpenShift AI, uma plataforma de IA que fornece ferramentas para desenvolver, treinar, servir e monitorar rapidamente os modelos de machine learning em ambientes de Kubernetes distribuídos on-site, na nuvem pública ou na edge;
• InstructLab, um projeto comunitário open source criado pela Red Hat e pela IBM que permite que qualquer pessoa molde o futuro da gen AI por meio do aprimoramento colaborativo de LLMs Granite, licenciados como open source usando tecnologia de fine-tuning do InstructLab.

A liderança tecnológica da Neural Magic em vLLM aumentará a capacidade da Red Hat AI de oferecer suporte a implantações de LLM em qualquer ambiente e em qualquer lugar da nuvem híbrida com uma pilha de inferência pronta, altamente otimizada e aberta.

A transação está sujeita a aprovação regulatória e outras condições habituais de fechamento de contratos.

Citações de apoio
Matt Hicks, presidente e CEO da Red Hat
“As cargas de trabalho de IA precisam ser executadas onde quer que os dados do cliente estejam na nuvem híbrida; isso torna as plataformas e ferramentas flexíveis, padronizadas e abertas uma necessidade por permitirem que as organizações selecionem os ambientes, recursos e arquiteturas que melhor se alinham com suas necessidades operacionais e de dados exclusivas. Estamos empolgados para complementar nosso portfólio de IA focado em nuvem híbrida com a inovação de IA revolucionária da Neural Magic, aumentando nosso desejo de não ser apenas a ‘Red Hat do open source’, mas também a ‘Red Hat da IA’.”

Brian Stevens, CEO, Neural Magic
“O open source comprovou repetidamente que impulsiona a inovação por meio do poder da colaboração da comunidade. Na Neural Magic, reunimos alguns dos principais talentos do setor em engenharia de desempenho de IA com uma missão singular de construir capacidades de serviço LLM abertas, multiplataforma e ultra eficientes. Juntar-se à Red Hat não é apenas uma combinação cultural, mas beneficiará grandes e pequenas empresas em suas jornadas de transformação de IA.”

Dario Gil, vice-presidente e diretor de Pesquisa da IBM
“À medida que nossos clientes buscam escalar a IA em seus ambientes híbridos, LLMs virtualizados e nativos da nuvem, construídos em bases abertas, se tornarão o padrão do setor. A liderança da Red Hat em open source combinada com a escolha de modelos eficientes de open source, como o IBM Granite e as ofertas da Neural Magic para escalar a IA em todas as plataformas, capacitam os negócios com o controle e a flexibilidade de que precisam para implantar a IA em toda a empresa.”