AI010
Red Hat AI Inference Server Technical Overview
Otimize suas cargas de trabalho de IA e reduza custos com o Red Hat AI Inference Server.
Descrição do curso
- Conheça os principais insights sobre a implantação de IA com esta visão geral técnica do Red Hat AI Inference Server. Aprenda a lidar com as complexidades e os custos da execução de modelos de IA na produção. Descubra como a solução da Red Hat, com tecnologia vLLM, otimiza o desempenho e oferece economia em ambientes de nuvem, on-premise, virtualizados e de edge. Explore técnicas avançadas, como quantização e decodificação especulativa, para aprimorar seus recursos de inferência de IA. Este vídeo sob demanda mostra como implantar e gerenciar modelos no OpenShift AI de forma simples e como alcançar eficiência e flexibilidade incomparáveis para suas cargas de trabalho de IA.
Resumo do conteúdo do curso
- O que é inferência?
- Desafios da inferência
- Solução Red Hat AI Inference Server
- Integração ao portfólio do Red Hat AI
- Flexibilidade de implantação
- Ferramenta de compactação LLM (quantização)
- Técnicas de otimização de desempenho (KV cache, decodificação especulativa, inferência paralela de tensores)
- Estudos de caso
- Implantação e gerenciamento de modelos
- Conexões de armazenamento para modelos
- Métricas e monitoramento
- Integração do Hugging Face
Público-alvo do curso
- Profissionais e engenheiros de inteligência artificial e machine learning
- Engenheiros de DevOps
- Arquitetos e engenheiros de nuvem
- Tomadores de decisões técnicas
Treinamentos recomendados
- Não há pré-requisitos para esta visão geral técnica.
Tópicos do curso
- O que é inferência?
- Desafios da inferência
- Solução Red Hat AI Inference Server
- Integração ao portfólio do Red Hat AI
- Flexibilidade de implantação
- Ferramenta de compactação LLM (quantização)
- Técnicas de otimização de desempenho (KV cache, decodificação especulativa, inferência paralela de tensores)
- Estudos de caso
- Implantação e gerenciamento de modelos
- Conexões de armazenamento para modelos
- Métricas e monitoramento
- Integração do Hugging Face
Próximos exames ou cursos recomendados
Disponibilidade para treinamento no local
Treinamentos para equipes podem ser realizados nas suas instalações, presencialmente ou de forma remota.
Red Hat Learning Subscription
Trajetórias de aprendizagem e treinamentos abrangentes sobre as soluções Red Hat, certificações reconhecidas pelo setor e uma experiência de aprendizado de TI dinâmica e flexível.
Descubra o que outros estudantes disseram sobre este curso na Red Hat Learning Community.
