Computação de alto desempenho com o Red Hat OpenShift

Red Hat OpenShift é a plataforma Kubernetes para as organizações modernas gerenciarem fluxos de dados com volumes e velocidades cada vez maiores. As demandas da computação de alto desempenho (HPC) não são exceção. Hoje em dia não é mais econômico processar esses dados em um só local ou destino. Isso significa gerenciar os dados o mais próximo possível da fonte: a computação de alto desempenho está migrando para a edge.

Muitos setores já estão usando HPC. Exploração de óleo e gás, modelagem financeira complexa e mapeamento e sequenciamento de DNA são apenas alguns dos fluxos de trabalho modernos que possuem enormes requisitos de dados e dependem da HPC para fazer descobertas inovadoras. 

Não está familiarizado com a computação de alto desempenho?

Devido à escala, usar HPC para simulações e computações avançadas pode auxiliar na geração de resultados e opções difíceis de alcançar com uma infraestrutura tradicional. A escala enorme da HPC quase não mudou nos últimos 20 anos, mas novas aplicações exigem novas estruturas. Por exemplo, aplicações modernas normalmente usam uma inteligência artificial (IA) que precisa de inteligência de dados de alto desempenho (HPDA) e exige testes de amostras de dados enormes para facilitar o consumo e a inclusão de frameworks externos. Esses requisitos são mais fáceis de alcançar quando a aplicação e as dependências são empacotadas em containers. Os ambientes de HPC existentes não foram desenvolvidos para containers, então precisamos  reavaliar essas arquiteturas e encontrar novas maneiras de aproximá-las dos ambientes nativos em nuvem flexíveis de hoje.

A Red Hat é líder no incentivo à inovação nativa em nuvem em ambientes de multicloud híbridos. Estamos  trazendo essa experiência para implantações de HPC em grande escala. A Red Hat entende as necessidades coletivas e dinâmicas do cenário de HPC e quer tornar containers Linux, Kubernetes e outras peças fundamentais da computação nativa em nuvem mais acessíveis para locais de supercomputação. 

Padrões são críticos para ampliar o alcance da HPC, da edge à exascale. Padrões e práticas comuns e aceitáveis, como os definidos pela Open Container Initiative (OCI), da segurança de containers à escala de cargas de trabalho em containers, são necessários para a HPC aproveitar ao máximo a tecnologia de containers. Para que os containers atendam às necessidades únicas do mundo da computação exascale, a Red Hat está trabalhando para melhorar o Podman e as ferramentas de container associadas para suprir as demandas intensas das cargas de trabalho em containers nos sistemas de HPC.

A parte mais desafiadora é quando o número de containers começa a aumentar exponencialmente. Simulações em grande escala e outras cargas de trabalho pesadas exigem uma plataforma robusta de orquestração de containers. O Kubernetes é o verdadeiro padrão na orquestração das cargas de trabalho em containers em ambientes de multicloud híbridos. A Red Hat é a maior colaboradora do projeto da comunidade do Kubernetes e oferece o Red Hat OpenShift, a plataforma Kubernetes empresarial líder do setor. 

O Red Hat OpenShift está se tornando uma peça fundamental na execução de containers em grande escala. Com o Red Hat OpenShift já estabelecido em datacenters, nuvens públicas e na edge, os componentes e práticas padrão da plataforma também podem ser úteis para ambientes de HPC. A Red Hat está explorando cenários de implantação de infraestruturas baseadas em Kubernetes em grande escala, oferecendo mecanismos mais fáceis e bem definidos para disponibilizar cargas de trabalho em containers para usuários de HPC.

A transição da arquitetura HPC tradicional com enormes cargas de trabalho paralelas para aplicações habilitadas por IA executadas em containers não é rápida nem fácil. No entanto, é um passo importante na redução de complexidade, custo e personalização necessários para executar a infraestrutura HPC tradicional. A transição também permite a incorporação de técnicas de desenvolvimento de aplicações modernas e o aumento da portabilidade e habilidade de adicionar novos recursos mais rapidamente.

Várias organizações em setores verticais já estão à frente na transformação dos fluxos de trabalho de HPC tradicionais em aplicações inteligentes mais modernas e baseadas em containers usando o  Red Hat OpenShift:

• No Royal Bank of Canada, o Red Hat OpenShift melhora a colaboração entre cientistas de dados, engenheiros de dados e desenvolvedores de software para acelerar a implantação de modelos de ML e DL em ambientes de produção que utilizam infraestrutura de alto desempenho acelerada por GPU.
• Com o Red Hat OpenShift, a Public Health England melhora a portabilidade e reutilização de códigos e dados, o compartilhamento de dados e a colaboração entre equipes na computação de alto desempenho (HPC) e nas operações de multicloud.
• O Lawrence Livermore National Laboratory adotou o OpenShift para desenvolver práticas recomendadas por meio de interface para orquestradores de nuvem e programadores, viabilizando o uso de tecnologias em containers modernas pelas tarefas de HPC mais tradicionais.

Hoje, muitas organizações querem vincular recursos de HPC e cloud computing com conjuntos de ferramentas de container padronizados, ajudando a criar práticas de tecnologia comuns a implantações HPC e nativas em nuvem. Esses clientes demonstraram que é possível realizar melhorias profundas nas cargas de trabalho de HPC tradicionais com aplicações orientadas por IA/ML executadas em containers e Kubernetes, todas baseadas em uma plataforma de nuvem híbrida como o Red Hat OpenShift. Além disso, ao trabalhar com infraestruturas de tecnologia modernas e se basear em containers, os locais de HPC podem se beneficiar com uma interface boa e consistente nos sistemas e software com Kubernetes. 

Esses recursos novos podem gerar vantagens competitivas e acelerar descobertas enquanto oferecem a flexibilidade e escala das tecnologias nativas em nuvem. Por outro lado, isso viabiliza a execução das cargas de trabalho de HPC na edge, onde os dados estão sendo gerados ou coletados, até nos supercomputadores exascale mais potentes.