Red Hat entrega inovação acessível de IA generativa open source com Red Hat Enterprise Linux AI

A Red Hat, Inc., líder global no fornecimento de soluções open source, anunciou hoje o lançamento do Red Hat Enterprise Linux AI (RHEL AI), plataforma de modelo fundacional que permite que os usuários desenvolvam, testem e implantem modelos de IA generativa (GenAI) de forma mais alinhada. O RHEL AI une a família de large language models (LLM) Granite, da IBM Research, que é licenciada de forma open-source, ferramentas de alinhamento de modelos do InstructLab baseadas na metodologia LAB (Large-scale Alignment for chatBots) e uma abordagem orientada pela comunidade para o desenvolvimento de modelos por meio do projeto InstructLab. A solução completa é vendida como uma imagem RHEL otimizada e usada como boot para implantação em servidores individuais por toda a nuvem híbrida e também está incluída como parte do OpenShift AI, plataforma híbrida de operações de machine learning (MLOps) da Red Hat, para operar modelos e o InstructLab em escala em ambientes de cluster distribuídos. 

O lançamento do ChatGPT gerou tremendo interesse na GenAI e o ritmo de inovação só acelerou desde então. Empresas evoluíram das primeiras avaliações de serviços de GenAI para construir aplicações capacitadas para IA. O crescente ecossistema de opções de modelos open source gerou mais inovação de IA e ilustrou que não haverá "um modelo para governar a todos". Os clientes vão se beneficiar de uma gama de opções para atender a necessidades específicas e todas serão ainda mais aceleradas por uma abordagem aberta para a inovação.

Implementar uma estratégia de IA exige mais do que apenas escolher um modelo; as organizações de tecnologia precisam da expertise para ajustar determinado modelo para um caso de uso específico, bem como lidar com os custos significativos da implantação da IA. A falta de habilidades com ciências de dados se somam à necessidade de investimentos financeiros significativos, incluindo:

• Adquirir infraestrutura de IA ou consumir serviços de IA
• O processo complexo de ajustar modelos de IA para necessidades específicas
• Integrar a IA em aplicações empresariais
• Gerenciar tanto aplicações quanto ciclo de vida dos modelos.

Para realmente reduzir as barreiras de entrada para a inovação com a IA, as empresas precisam ser capazes de expandir a lista de quem pode trabalhar com iniciativas IA ao mesmo tempo em que mantém esses custos sob controle. Com as ferramentas de alinhamento do InstructLab, os modelos Granite e o RHEL AI, a Red Hat visa aplicar os benefícios de projetos verdadeiramente open source — acessíveis a todos e reaplicáveis, totalmente transparentes e abertos para contribuições — para a GenAI, em um esforço para remover estes obstáculos.

Construindo a IA open source com o InstructLab

A IBM Research criou a técnica Large-scale Alignment for chatBots (LAB), uma abordagem para alinhamento de modelos que usa geração de dados sintética orientada por taxonomia e uma nova estrutura de tuning com diversas fases.  Esta abordagem torna o desenvolvimento de modelos de IA mais aberto e acessível para todos os usuários ao reduzir a dependência de anotações humanas caras e modelos proprietários. Usando o método LAB, os modelos podem ser melhorados ao especificar as habilidades e conhecimento relacionados à taxonomia, gerando dados sintéticos a partir desta informação em escala para influenciar o modelo e usar os dados gerenciados para treinamento dos modelos.

Após ver que o método LAB poderia ajudar a melhorar significativamente a performance dos modelos, IBM e Red Hat decidiram lançar o InstructLab, uma comunidade open source construída em torno do método LAB e dos modelos open source Granite, da IBM. O projeto InstructLab visa colocar o desenvolvimento de LLM nas mãos dos desenvolvedores ao tornar a construção e a contribuição de um LLM tão simples quanto contribuir com qualquer outro projeto open source.

Como parte do lançamento do InstructLab, a IBM também lançou uma família do Granite em inglês e modelos de código open source. Estes modelos estão sendo lançados sob a licença Apache com total transparência sobre as bases de dados usadas para treinar estes modelos. O modelo de linguagem Granite 7B English foi integrado à comunidade InstructLab, onde os usuários finais podem contribuir com as habilidades e conhecimento para melhorar coletivamente este modelo, da mesma forma que fariam se estivessem contribuindo com qualquer outro projeto open source. Em breve será disponibilizado suporte similar para modelos de código do Granite dentro do InstructLab.

Inovação IA open source em uma estrutura Linux confiável

O RHEL AI tem como base essa abordagem aberta para a inovação em IA, incorporando uma versão pronta para a empresa do projeto InstructLab e dos modelos de idioma e código do Granite combinados com a plataforma líder global em Linux para simplificar a implantação em uma infraestrutura de nuvem híbrida. Isto cria uma plataforma de modelos fundacionais para trazer modelos de GenAI licenciados para open source para a empresa. O RHEL IA inclui:

 

• Modelos Granite para código e idiomas licenciados de forma open source que contam com suporte completo e com apoio da Red Hat para indenizações.
• Uma distribuição do InstructLab com suporte e ciclo de vida que fornece uma solução escalável e barata para aprimorar funcionalidades de LLM e tornar contribuições de habilidades e conhecimento acessíveis a muito mais usuários.
• Instâncias de execução de modelo que podem ser usadas como boot com modelos Granite e pacotes de ferramentas do InstructLab disponibilizados como imagens do RHEL que podem ser "bootáveis" através do modo imagem do RHEL, incluindo bibliotecas de execução Pytorch  otimizadas e aceleradores para as estruturas AMD Instinct™ MI300X, Intel e NVIDIA GPUs, e NeMo.
• Promessa de suporte empresarial completo e ciclo de vida da Red Hat, que começa com uma distribuição de produto empresarial confiável, suporte em produção 24x7, suporte estendido para o ciclo de vida do modelo e indenização à propriedade intelectual do modelo.

À medida que as organizações experimentam e ajustam novos modelos de IA no RHEL AI, elas tem um ramp-up pronto para escalar estes fluxos de trabalho com o Red Hat OpenShift AI, que incluirá o RHEL AI e onde podem aproveitar o mecanismo de Kubernetes do OpenShift para treinar e disponibilizar modelos de IA em escala e as funcionalidades MLOps integradas do OpenShift AI para gerenciar o ciclo de vida do modelo. O IBM watsonx.ai enterprise studio, que hoje é baseado no Red Hat OpenShift AI, se beneficiará da inclusão de RHEL AI em OpenShift AI mediante disponibilidade, trazendo recursos adicionais para  o desenvolvimento da IA empresarial, gerenciamento de dados, governança de modelos e melhor desempenho de preços.

A nuvem é híbrida. A IA também.

Por mais de 30 anos, as tecnologias open source combinaram inovação rápida com custos de TI altamente reduzidos e menores barreiras à inovação. A Red Hat tem liderado essa mudança durante quase todo esse período, desde a entrega de plataformas Linux empresariais open com o RHEL no início dos anos 2000s até guiar containers e Kubernetes como a base para a nuvem híbrida aberta e computação nativa em nuvem com o Red Hat OpenShift.

Esta mudança continua com a Red Hat impulsionando estratégias AI/ML na nuvem híbrida aberta, possibilitando que as cargas de trabalho de IA operem onde os dados estão, seja no datacenter, várias nuvens híbridas ou na edge. Mais do que apenas as cargas de trabalho, a visão da Red Hat para a IA leva o treinamento de modelos e tuning por esse mesmo caminho para solucionar limitações em torno da soberania de dados, compliance e integridade operacional. A consistência entregue pelas plataformas da Red Hat por todos estes ambientes, não importa onde operem, é essencial para manter a inovação em IA fluindo.

RHEL AI e a comunidade InstructLab entregam ainda mais esta visão, rompendo muitas das barreiras para a experimentação com IA e a construção de modelos enquanto fornece as ferramentas, dados e conceitos necessários para alimentar a próxima onda de cargas de trabalho inteligentes.

Disponibilidade

O Red Hat Enterprise Linux AI está disponível como uma prévia para desenvolvedores. Com base na infraestrutura de GPU disponível na IBM Cloud, que é usada para treinar os modelos Granite e dar suporte ao InstructLab, a IBM Cloud agora adiciona suporte para RHEL AI e OpenShift AI. Essa integração permitirá que as empresas implantem IA generativa mais facilmente em suas missões críticas.

Red Hat Summit

Participe dos keynotes do Red Hat Summit para ouvir as últimas novidades de executivos, clientes e parceiros da Red Hat:

• A nuvem é híbrida. A IA também. — Terça-feira, 7 de maio, 11h30-13h00. (horário de Brasília) 
• Otimizando a TI para a era da IA — Quarta-feira, 8 de maio, 11h30-12h30. (horário de Brasília )

Citações de apoio

Ashesh Badani, senior vice president and chief product officer, Red Hat

“A GenAI será um avanço revolucionário para as empresas, mas apenas se as organizações tecnológicas forem capazes de, de fato, implantar e usar modelos de IA de forma que atendam suas necessidades de negócio específicas. O RHEL AI e o projeto InstructLab, combinados com o Red Hat OpenShift AI em escala, são projetados para reduzir muitas das barreiras que a GenAI enfrenta na nuvem híbrida, desde falta de habilidades com ciências de dados até os recursos necessários, enquanto alimentam a inovação tanto em implantações empresariais quanto nas comunidades upstream.”

Ramine Roane, vice-presidente corporativo, AI Group, AMD

“A IA é uma das mudanças mais importantes na tecnologia dos últimos 50 anos. Para ajudar a acelerar a adoção mais ampla da IA, os modelos e ferramentas utilizados para construir aplicações de IA precisam tornar-se acessíveis à empresa. Construído em um backbone Linux confiável com ferramentas de código aberto e modelos licenciados de código aberto, o RHEL AI é uma das plataformas que podem fornecer isso, e temos o prazer de apoiar o esforço da Red Hat em impulsionar a IA nas empresas com nossas tecnologias AMD incluindo aceleradores Instinct AI.”

Jeremy Foster, vice-presidente sênior e gerente geral de redes e computação da Cisco

“O movimento da IA representa um abalo sísmico para empresas e muitas organizações estão enfrentando dificuldades com o melhor caminho a seguir. A Cisco continua a trabalhar de perto com a Red Hat para promover a adoção da IA e o RHEL AI vai acelerar a inovação ao fornecer modelos LLM  open source como parte de uma plataforma Linux pronta para as empresas.”

Gil Shneorson, vice-presidente sênior, Solutions Platforms, Dell Technologies

“A Dell Technologies tem sido pioneira no fornecimento de gerenciamento confiável e consistente do ciclo de vida para infraestrutura; acreditamos que atualizações de sistema consistentes, confiáveis e seguras para operações de TI corporativas são fundamentais à medida que os sistemas continuam a evoluir. Novas tecnologias que oferecem às organizações a capacidade de estender as atualizações de código e reduzir os tempos de implantação serão importantes para manter o progresso na inovação”.

Frances Guida, diretora de soluções de computação e IA, Hewlett Packard Enterprise

"A Hewlett Packard Enterprise colabora com a Red Hat há duas décadas para fornecer soluções líderes do setor que combinam as plataformas HPE Compute com RHEL. Um ambiente aberto é fundamental para a inovação em categorias de tecnologia de rápido crescimento, como IA generativa, e estamos ansiosos para explorar novas áreas de colaboração com RHEL AI e Red Hat para ajudar os clientes da HPE a obter sucesso.”

Darío Gil, vice-presidente sênior e diretor de Pesquisa, IBM

“Trazer a verdadeira inovação de código aberto para o desenvolvimento de modelos de IA e aproveitar o poder de uma ampla comunidade mudará a forma como as empresas pensam sobre os seus planos para a adoção e escala da IA. A IBM tem apoiado fortemente o código aberto, suportando comunidades influentes como Linux, Apache e Eclipse, e nossa colaboração com a Red Hat representa um passo à frente em nossa abordagem aberta para construir IA segura, responsável e eficaz. RHEL AI e InstructLab, combinados com a família de modelos Granite de código aberto da IBM, fornecerão novo valor e opções para clientes que buscam construir modelos adequados à finalidade que atendam a seus casos de uso com seus próprios dados, minimizando custos em um ambiente de nuvem híbrida diversificado .”

Hillery Hunter, CTO e gerente geral de inovação, IBM Infrastructure

“Muitas empresas procuram incorporar IA nas suas aplicações de missão crítica. A disponibilidade do RHEL AI e do OpenShift AI na IBM Cloud ajudará a transformar a forma como a comunidade e as empresas constroem e aproveitam a IA generativa. Estamos possibilitando a colaboração aberta, simplificando a personalização de modelos e fornecendo modelos e ferramentas com suporte de qualidade empresarial para incorporar IA em cada aplicação.”

Justin Hotard, vice-presidente executivo e gerente geral, Data Center & AI Grup, Intel

“Para que a adoção da IA seja escalonada, ela precisa ser totalmente de código aberto, onde os membros da comunidade contribuam e criem novos aplicativos e casos de uso. Ao incorporar os modelos Granite de código aberto e o projeto InstructLab, o RHEL AI está preparado para trazer uma mudança significativa na forma como interagimos, ajustamos e, por fim, usamos modelos de IA na produção.”

Kirk Skaugen, presidente da Lenovo ISG

“Os clientes que estão implantando aplicações orientadas por IA precisam ser capazes de testar e experimentar com potenciais modelos em uma plataforma confiável e familiar, mais ainda assim, inovadora. A Lenovo acredita que o futuro da IA é híbrido e vemos o RHEL AI como um meio crítico para disseminar a inovação híbrida em IA, através do Red Hat OpenShift AI e escalabilidade de produção. Estamos felizes em trabalhar com a Red Hat para impulsionar essa inovação híbrida em IA adiante por meio de testes conjuntos em nossos servidores ThinkSystem 8-GPU, fornecendo uma base de software confiável para impulsionar a IA open source.”

Justin Boitano, vice-presidente de produtos empresariais, NVIDIA

“A Red Hat e a NVIDIA têm uma longa história de colaboração estreita, e o Red Hat Enterprise Linux AI demonstra nosso foco compartilhado em levar computação e software full-stack aos desenvolvedores e pesquisadores que estão construindo a próxima onda de tecnologia e aplicações de IA.”