IA/ML no Red Hat OpenShift

A Red Hat acelera os fluxos de trabalho de IA/ML e a entrega de aplicações inteligentes baseadas em IA por meio do Red Hat OpenShift autogerenciado, nosso serviço de nuvem para IA/ML.

O que é o ciclo de vida de ML? 

Um processo multifásico para extrair o poder de grandes volumes e variedade de dados, computação abundante e ferramentas de machine learning open source para a criação de aplicações inteligentes.

De modo geral, existem quatro etapas no ciclo de vida:

1. Coletar e preparar as informações para verificar se os dados de entrada tem alta qualidade e estão completos
2. Desenvolver o modelo, incluindo treinamentos, testes e seleção do com a previsão mais precisa
3. Integrar modelos no processo de desenvolvimento de aplicações e fazer inferência
4. Modelar o monitoramento e o gerenciamento, para mensurar o desempenho do negócio e resolver possíveis desvios nos dados da produção

Os cientistas de dados são os principais responsáveis pela modelagem de ML, para que o modelo selecionado sempre ofereça a previsão mais precisa.

Estes são os principais desafios que os cientistas de dados enfrentam:

• Seleção e implantação das ferramentas de ML apropriadas (como Apache Spark, Jupyter notebookTensorFlow, PyTorch etc.)
• A complexidade e o tempo necessários para treinar, testar, selecionar e treinar novamente o modelo de ML que ofereça a previsão mais precisa
• Lentidão na execução das tarefas de modelagem e inferência, por falta de aceleração do hardware
• Dependência recorrente de operações de TI para provisionar e gerenciar a infraestrutura
• Colaboração com engenheiros de dados e desenvolvedores de software para assegurar a higiene dos dados de entrada e a implantação bem-sucedida do modelo de ML nos processos de desenvolvimento de aplicações

Os containers e o Kubernetes são essenciais para acelerar o ciclo de vida de ML. Eles são tecnologias que oferecem aos cientistas de dados a agilidade, flexibilidade, portabilidade e escalabilidade necessárias para treinar, testar e implantar modelos de ML.

O Red Hat® OpenShift® é a plataforma de nuvem híbrida líder do setor em containers e Kubernetes. Ele oferece todos esses benefícios por meio dos recursos integrados de DevOps (por exemplo, OpenShift Pipelines, OpenShift GitOps e Red Hat Quay) e da integração com aceleradores de hardware. A plataforma ainda permite uma melhor colaboração entre cientistas de dados e desenvolvedores de software, além de acelerar a implantação de aplicações inteligentes em nuvem híbrida (datacenter, edge e nuvens públicas).

Incentive os cientistas de dados

• Tenha uma experiência de autosserviço consistente para os cientistas de dados por toda a nuvem híbrida
• Ofereça aos cientistas de dados flexibilidade e portabilidade para usar as ferramentas em containers que eles preferirem para criar, escalar, reproduzir e compartilhar rapidamente modelos de ML.
• Utilize as ferramentas de ML mais relevantes por meio de operadores Kubernetes certificados pela Red Hat tanto para o autogerenciamento quanto para nossa opção de serviço de nuvem para IA.
• Elimine a dependência da TI na hora de provisionar a infraestrutura para tarefas de modelagem de dados de ML iterativas e com processamento intensivo.
• Esqueça as preocupações com a "dependência" de um provedor de nuvem específico e as opções de ferramentas de ML oferecidas por ele.
• Integração física com ferramentas de CI/CD permite que os modelos de ML sejam rapidamente implantados de forma iterativa, quando necessário.

Acelere os trabalhos de modelagem de ML com processamento intensivo

As integrações com conhecidos aceleradores de hardware, como GPUs NVIDIA via operador de GPU certificado pela Red Hat, permitem que o OpenShift atenda aos altos requisitos de recursos de computação para ajudar a selecionar o melhor modelo de ML, oferecendo a previsão mais precisa e trabalhos de inferência de ML à medida que o modelo experimenta novos dados em produção.

Desenvolva aplicações inteligentes

A extensão dos recursos de automação do OpenShift DevOps até o ciclo de vida de ML possibilita a colaboração entre cientistas de dados, desenvolvedores de software e equipes de operações de TI para que os modelos de ML sejam integrados rapidamente ao desenvolvimento de aplicações inteligentes. Além de estimular a produtividade, isso simplifica o gerenciamento do ciclo de vida para aplicações inteligentes com suporte ao ML.

• Criação a partir de imagens de modelo de containers com o OpenShift Build.
• Desenvolvimento contínuo e iterativo de aplicações inteligentes operadas por modelos de ML com o OpenShift Pipelines.
• Automação contínua da implantação para aplicações inteligentes operadas por modelos de ML com o OpenShift GitOps.
• Um repositório para controle de versão de imagens de container do modelo e microsserviços com o Red Hat Quay.

O OpenShift ajuda empresas de vários setores a acelerar iniciativas de negócios e de missão crítica, desenvolvendo aplicações inteligentes na nuvem híbrida. Entre os casos de uso estão: detecção de fraudes, diagnóstico e cura orientados por dados, carros conectados e com direção autônoma, exploração de petróleo e gás, cotações de seguro automatizadas e processamento de sinistros.

Relatório de analistas: Software open source e baseado em nuvem para impulsionar iniciativas de IA

Caso de sucesso: HCA Healthcare usa plataforma de dados inovadora para salvar vidas

Vídeo: BMW ConnectedDrive com Red Hat OpenShift

O Red Hat Decision Manager é uma plataforma de decisões e regras de negócios nativa em nuvem que possibilita a integração de modelos de ML com modelos de decisão. Esses modelos podem ser processados e disponibilizados para inferência como microsserviços no OpenShift. A integração com ferramentas de monitoramento como Prometheus e Grafana permite monitorar e gerenciar o desempenho (empresarial) de modelos de ML em produção.

Para mais informações sobre o Red Hat Decision Manager, acesse a página do Red Hat Decision Manager ou o site Red Hat Developer.

O Red Hat Data Services foi desenvolvido para atender a requisitos de armazenamento na escala de petabytes no ciclo de vida de ML, desde a ingestão e preparação dos dados, passando pela modelagem de ML até a fase de inferência. O portfólio do Red Hat Data Services traz o Red Hat Ceph Storage, um sistema de armazenamento definido por software open source que oferece suporte abrangente para armazenamento de objetos, blocos e arquivos S3, além de escalabilidade massiva em hardware padrão do setor.

Por exemplo, você pode usar o armazenamento escalável do Ceph em notebooks Jupyter em containers no OpenShift via S3 ou volumes persistentes.

O projeto Open Data Hub é uma arquitetura funcional baseada no Red Hat OpenShift, no Red Hat Ceph Storage, no Red Hat AMQ Streams e em vários projetos open source upstream para ajudar a construir uma plataforma de ML aberta e com as ferramentas de que ela necessita.

Para mais informações sobre o projeto Open Data Hub, leia os blogs e comece por aqui.