Visão geral
O Kubernetes pode ajudar com cargas de trabalho de inteligência artificial e machine learning ao criar códigos reproduzíveis, portáteis e escaláveis em ambientes diversificados, com consistência. O Kubernetes é uma plataforma open source que automatiza operações de containers Linux, eliminando grande parte dos processos manuais necessários para implantar e escalar aplicações em containers. O Kubernetes é essencial para otimizar o ciclo de vida de inteligência artificial e machine learning. Ele oferece aos cientistas de dados agilidade, flexibilidade, portabilidade e escalabilidade para treinar, testar e implantar modelos de ML.
A função dos containers no desenvolvimento de IA/ML
Ao desenvolver aplicações habilitadas para machine learning, o fluxo de trabalho não é linear. As etapas de pesquisa, desenvolvimento e produção passam por mudanças constantes enquanto as equipes trabalham na integração e entrega contínuas (CI/CD). O processo de desenvolver, testar, combinar e implantar novos dados, algoritmos e versões de uma aplicação envolve muitas partes, dificultando o gerenciamento. É aí que entram os containers.
Os containers são uma tecnologia Linux que permite empacotar e isolar aplicações com todas as bibliotecas e dependências de que precisam para serem executadas. Eles não exigem um sistema operacional completo, apenas os componentes exatos necessários para operar, o que os torna leves e portáteis. Isso facilita a implantação das operações e dá aos desenvolvedores a certeza de que as aplicações serão executadas da mesma forma em diferentes plataformas ou sistemas operacionais.
Outro benefício dos containers é que eles ajudam a reduzir conflitos entre suas equipes de desenvolvimento e operações, separando áreas de responsabilidade. Ao direcionar o foco dos desenvolvedores para as apps e o das equipes de operação para a infraestrutura, integrar novos códigos a uma aplicação à medida que ela cresce e evolui em seu ciclo de vida se torna um processo mais fluido e eficiente.
Acesse a biblioteca de conteúdos da Red Hat
O que o Kubernetes agrega às cargas de trabalho de IA/ML
Escalabilidade: com o Kubernetes, os usuários podem expandir ou reduzir as cargas de trabalho de ML, dependendo da demanda. Assim, os pipelines de machine learning conseguem acomodar treinamentos e processamento em larga escala sem interferir em outros elementos do projeto.
Eficiência: o Kubernetes otimiza a alocação de recursos programando as cargas de trabalho nos nós com base na disponibilidade e capacidade deles. Ao aplicar os recursos de computação com uma finalidade, é possível alcançar reduções de custo e melhorias no desempenho.
Portabilidade: o Kubernetes oferece um ambiente padronizado e independente de plataformas para os cientistas de dados desenvolverem um modelo de ML e implantá-lo em vários ambientes e nuvens. Assim, não é preciso se preocupar com problemas de compatibilidade e dependência de fornecedor.
Tolerância a falhas: com recursos integrados de autorrecuperação e tolerância a falhas, os usuários podem confiar no Kubernetes para manter os pipelines de ML funcionando, mesmo em caso de falha de hardware ou software.
Como implantar modelos de ML no Kubernetes
O ciclo de vida de machine learning é composto de vários elementos. E, se eles fossem gerenciados separadamente, o processo seria demorado e sua operação e manutenção demandariam muitos recursos. Com uma arquitetura Kubernetes, as organizações conseguem automatizar partes do ciclo de vida de ML, eliminando a necessidade de intervenção manual e gerando mais eficiência.
Ferramentas como o Kubeflow podem ser implementadas para ajudar os desenvolvedores a otimizarem e disponibilizarem as cargas de trabalho treinadas por ML no Kubernetes. Com o conjunto de ferramentas e APIs do Kubeflow, você supera muitos dos desafios relacionados à orquestração de pipelines de machine learning, simplificando o processo de treinamento e implantação de modelos de ML em grande escala. Além disso, padroniza e organiza as operações de machine learning (MLOps).
Como a Red Hat pode ajudar
O Kubernetes simplifica as cargas de trabalho de inteligência artificial e machine learning, mas você ainda precisa de uma plataforma para fazer testes, disponibilizar modelos e entregar suas aplicações.
O Red Hat® AI é nosso portfólio de soluções de IA, desenvolvido a partir de soluções em que nossos clientes confiam. Com essa base, nossas soluções permanecem consistentes, flexíveis e escaláveis.
O Red Hat AI pode ajudar as organizações a:
- Adotar a IA e inovar rapidamente.
- Reduzir as complexidades da entrega de soluções de IA.
- Implantar em qualquer lugar.
Tenha flexibilidade enquanto escala
O Red Hat AI inclui o Red Hat OpenShift® AI: uma plataforma de MLOps integrada que gerencia o ciclo de vida de modelos de IA preditiva e IA generativa.
Essa plataforma de IA oferece um espaço para desenvolver, treinar, implantar e monitorar cargas de trabalho de inteligência artificial e machine learning em data centers on-premise ou mais perto de onde os dados estão armazenados. Assim, é mais fácil escalar as operações para a nuvem ou para a edge quando necessário.
Ao usar camadas de Kubernetes com o Red Hat AI, sua equipe entrega aplicações de IA com rapidez em ambientes de nuvem híbrida.
Padrão de solução: apps de IA com a Red Hat e o NVIDIA AI Enterprise
Crie uma aplicação com RAG
O Red Hat OpenShift AI é uma plataforma para desenvolver projetos de ciência de dados e disponibilizar aplicações com IA. Você pode integrar todas as ferramentas para oferecer suporte Geração Aumentada de Recuperação (RAG), um método para receber respostas da IA a partir dos seus próprios documentos de referência. Quando você conecta o OpenShift AI ao NVIDIA AI Enterprise, é possível testar LLMs para encontrar o melhor modelo para sua aplicação.
Desenvolva um pipeline de documentos
Para usar a RAG, primeiro você precisa ingerir seus documentos em um banco de dados vetorial. Na nossa app de exemplo, inserimos um conjunto de documentos da solução em um banco de dados do Redis. Como esses documentos mudam com frequência, criamos um pipeline para esse processo que executaremos periodicamente. Dessa forma, sempre teremos as versões mais recentes dos documentos.
Confira o catálogo completo
O NVIDIA AI Enterprise oferece acesso a um catálogo de diferentes LLMs com opções diversas, permitindo que você selecione o modelo com os melhores resultados. Os modelos são hospedados no catálogo da API da NVIDIA. Depois de configurar um token de API, é possível implantar um modelo usando o NVIDIA NIM model serving que disponibiliza a plataforma diretamente a partir do OpenShift AI.
Escolha o modelo certo
Conforme você testa LLMs diferentes, seus usuários podem avaliar cada resposta gerada. Você pode configurar um dashboard de monitoramento do Grafana para comparar as avaliações e o tempo de resposta e latência de cada modelo. Depois, use esses dados para escolher o melhor LLM para a solução.
15 motivos para adotar o Red Hat OpenShift Virtualization
Descubra como o Red Hat OpenShift Virtualization pode unificar e simplificar as operações de TI usando apenas uma plataforma para máquinas virtuais e containers.
